weixin_40455124的博客

Deequ的profile 包括对Column 类型的detection，前面也提到了predefinedTypes可以避免String Column Detection，以下是实现逻辑。参考以下代码可以指定，通过输入column name Seq 可以指定分析column范围。这个侦测是通过class StatefulDataType 来实现的。

deequ的执行过程 check、constraint 的入口差不多都是要生成一个 Constraint 并使用addFilterableConstraint 进行添加。注意 case class Size 有一个where，代表可以输入where条件 ，hasSize的生成类似如下计算。注意取值是有valuePicker 类实现，判断是由 assertion负责。前面讲了执行，再看AnalysisBasedConstraint的定义。注意这个NumMatchesAndCount。

编译的时候会遇到 类重复：KLLBenchmark，这个原因是java 文件放置的路径不对，参考。aws deequ 是使用scala maven plugin 进行编译的，非sbt。使用的scala 版本为2.12.10，可以从pom.xml中看到。之后就是漫长的maven 文件获取，多次尝试后成功编译。先在idea中安装scala 插件及scala。重新放置 java 文件如下即可。

BatchNormalStrategy ：正太分布检测，所有数据在 mean - lowerDeviationFactor * stdDev 和 mean + upperDeviationFactor * stdDev之间。repository 目前只有文件及内存两种，文件其实就是json格式的结果保存（带timestamp 及tag：即key）实际比较在detect 或者diff 函数内，不同strategy 类代码稍有不同。checkConfig 类。默认Constraint。

【代码】griffin 数据预处理。

AccuracyExpr2DQSteps 里面的基本逻辑就是生产各种select 和write table的step，如先生成missRecordsSql。然后是各种DQStepBuilder ，其中最重要的，也是可以理解各种rule实际dsl-spark sql转换的是 Expr2DQSteps。json里面的 “dq.type”: “accuracy” 决定了rule类型，其实也对应了使用那些step进行计算。除了UniquenessExpr2DQSteps的sql，参考url基本列出了相关sql。

本文记录下griffin 0.6 版本载win10 下使用idea 运行org.apache.griffin.measure.job.BatchDQAppTest 下的accuracy batch job should work 测试方法。

JanusGraph 自定义 Serializer 可以参考atlas的例子，注意以下几点。

这个标题可能难理解，atlas 本身embed 了janusgraph，但出于运维的需要，可能需要去看数据（包括数据结构），单独启动一个janusgraph，使用底层germlin 进行操作。默认janusgraph是打不开atlas的graph的，需要将相关jar引入，如果在开发环境，在janusserver 的pom.xml增加以下内容即可。由于atlas通过下面语句自定义了serializer。

的情况下出现：java.lang.IllegalArgumentException: The used key [__AtlasAuditEntry.startTime] is not indexed in the targeted index [vertex_index]。可以看到都是REGISTERED 状态，使用。查看atlas定义的index，有如下信息。虽然不影响使用，但还是分析了一下。将其改为ENABLED后，解决！

altas 升级到使用janus graph 0.6.2

使用maven.aliyun.com 遇到jms 1.1等jar 不存在，使用cnpm 也存在package不存在的事情，改了半天，最后web出现js不存在等问题。把这两个去掉，找个网络畅顺的时间进行编译，一把就过了，什么都不用调整。atlas 2.2.0 编译过程中开始使用。

atlas 文档说需要使用hbase或者Cassandra 作为backend，但实际只要janusgraph支持的backend都是可以的。比如在开发环境可以使用Berkeley 作为backend，以降低部署需要的资源等。以下为配置文件，重点为按 janusgraph的backend 要求进行配置即可。

2、自定义KeyColumnValueStore ，这个是getSlice ，keyrang等查找的入口 public class MysqlKeyColumnValueStore implements KeyColumnValueStore {注意使用janusgraph 带有的test类进行测试，最重要的两个测试类。1、 自定义StoreManager，这个是backend的入口。除了8个生产用表，还有2个测试需要的，结构体都一样。mutateXXX,比如。这个是数据修改的入口。

只有带来了vertex 及edge才会有graph 显示，其它情况只有console及Query MetaData。可以在%%gremlin 加参数 指导如何图形化（参考。使用 %%graph_notebook_config。图形显示的属性来自by 函数，这点很关键。

【代码】居于ubuntu focal 的aws graph notebook Dockerfile。

janusgraph-server 默认支持1.8 及11 ，使用conf文件下不同options 来处理，可以参考如下janusgraph-server.sh 里面的代码。config里面可以看到有PID_FILE，如果非正常退出，要清除PID_FILE后才能重新启动，可以参考以下代码。可以通过config查看配置，注意可以加上yaml文件路径查看使用指定yaml文件后配置。调大 options文件里面的 -Xss256k，如改为-Xss2048k即可。可以通过usage查看使用方法。

janusgraph 创建属性关键代码如下背后的逻辑其实有很多。包括index 及property 创建、修改等

基于graph 获取并进行rollback，注意多graph下不影响启动graph。

注意serializer.validDataType(value.getClass() 这句，graph 要求所有的object 先在StandardSerializer 有登记。然后在db内采用 key - column -column value 模式，即一个key下还有多个了column（也可以认为是sub key）。JanusGraph 的存储是先分db，如果是BerkeleyJE debug模式，可以在日志看到大量如下输出。写入value的时候，注意先写了DataType。

修改后janusgraph-server的resource目录如下（ext是否需要未测试，直接复制了full里面的ext及scripts目录）注意gremlin.remote.driver.sourceName 和globals

AtlasTypeDefStoreInitializer是typedef装载核心及入口/** * Class that handles initial loading of models and patches into typedef store */@Service@Order(2)public class AtlasTypeDefStoreInitializer implements ActiveStateChangeHandler { 从类定义可以看到是一个springfram

记录下windows 下如何运行atlas serverwebapp准备windows下编译dashboard3使用node-sass需要VC，本机没有安装vc，从linux运行环境下copy 一份web下的文件到本机。把整个webapp下atlas复制即可。D:\temp\webapp\atlas>dir 驱动器 D 中的卷是 新加卷 卷的序列号是 7671-366C D:\temp\webapp\atlas 的目录2021/09/10 14:21 <DIR>

atlas提供一个java 客户端可以访问atlas server，可以使用atlas-properties来初始化客户端并通过rest 接口进行访问，以下为测试代码： package com.atlas.example.clientexample; import org.apache.atlas.ApplicationProperties;import org.apache.atlas.AtlasClientV2;import org.apache.atlas.model.SearchFil

当一个hook 发送消息到kafka后，atlas web会有一个对应的consumer来处理消息，主要牵涉到以下几个类NotificationHookConsumer 创建consumer线程并处理消息KafkaNotification 被NotificationHookConsumer 调用，负责调用AtlasKafkaConsumer创建kafka consumer clientAtlasEntityStoreV2 负责与底层图数据库交互，完成数据保存NotificationHookCon

atlas hook 发送失败可以写到一个日志文件中，需要满足只有一个，log4j的root输出中必须有一个文件类型，比如：<root> <priority value="debug" /> <appender-ref ref="console" /> <appender-ref ref="FILE" /> </root>这个log 输出是在代码自动生成的，无需在log4j中配置。首先是在 public abstract cl

基类及配置atlas所有hook都（应该）基于public abstract class AtlasHook ，这个类在notifications 子项目下。这个类首先需要关注的是下面这些可以在atlas-application.properties里面定义的配置项：public static final String ATLAS_NOTIFICATION_ASYNCHRONOUS = "atlas.notification.hook.asynchronous";

atlas 提供了hive hook，但并没有提供hook的单元测试，源代码里面带的testng的测试，其实是要求部署hook到hive后进行测试。写了一个简单hook，以json模式输出hookContextpublic void run(HookContext hookContext) throws Exception { SessionState session = SessionState.get(); ObjectMapper mapper =

atlas支持高版本hadoop及es只需要修改pom.xml并自己编译即可<hadoop.version>3.1.1</hadoop.version><hbase.version>2.0.2</hbase.version><solr.version>7.5.0</solr.version><hive.version>3.1.0</hive.version><kafka.version>2.

最近想分析下HiveMeta，准备借助atlas的hive import进行分析， HiveMetaStoreBridge类是hive import的入口类，在windows 无法直接运行，需要做如下调整。POM内容修改需要增加tools及jackson-core <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <

griffin measure在env.json配置了hdfs sink的，那么在每次执行后再hdfs 目录下(默认为persist）下会保存3个或者4个文件_FINISH： 完整标志_METRICS： 指标_START：保存开始运行时间及yarn application id__missRecords： 只有accuracy模式有，和source不匹配的记录以一次运行结果为例。目录列表：[root@140 opt]# hdfs dfs -ls /griffin/persist/error

griffin 0.6.0 支持跨数据库进行多种类型数据库之间的数据质量比对，以下为mysql-hive的比对示意：{ "name": "mysql-hive_batch", "process.type": "batch", "owner" : "test", "description" : "mysql-hive_batch", "data.sources": [ { "name": "target", "baseline": true,

集成过程atlas openldap 集成不能仅仅依靠官网文档，首先需要注意需要设置如下属性：### groups from UGIatlas.authentication.method.ldap.ugi-groups=false如果不设置，atlas 的ldap 会使用hadoop security 去判断操作系统是否有对应用户，用户不存在，就会有如下错误：2021-07-01 15:43:13,275 ERROR - [pool-2-thread-2:] ~ Exception while

atlas 重新启动后，有时候有如下错误java.lang.RuntimeException: org.janusgraph.core.JanusGraphException: A JanusGraph graph with the same instance id [c0a89d8c1-namenode3] is already open. Might required forced shutdown. at org.apache.atlas.repository.graphdb.jan

关键点yarn队列可能需要指定dolphinscheduler spark默认只上传主程序jar包，资源不上传，资源默认只会下载到worker上的运行目录下资源使用可以：上传需要使用–files，注意如果资源带目录，上传后也会带目录如果dolphinscheduler资源是保存在hdfs上，也可以通过hdfs直接使用，无需再次上传如果要在griffin里面显示，需要创建一个对应的job才可以遇到的错误Exception in thread "main" org.apache.had

Griffin 出现如下错误：Internal Exception: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'quartz.DATACONNECTOR' doesn't existError Code: 1146Call: INSERT INTO DATACONNECTOR (ID, CONFIG, CREATEDDATE, DATAFRAMENAME, DATATIMEZONE, DATAUNIT, MODI

用一个图来记录下http://atlas.apache.org/ 中一个metabase可以拥有很多的属性，如下图：这些属性的用途和来源，以hive table 为例使用一个脑图来记录如下：

dolphinscheduler 集成atlas sqoop hook 主要需要注意如下事情Dolphscheduler 里面的租户id 必须是hive/hdfs 对应的用户，如果不是需要，同时properties 文件里面的HDFS_ROOT_USER=也需要注意修改如果租户id不是hdfs对应用户HIVE-SITE里面metastore.event.db.notification.api.authCORE-CONF里面hadoop.proxyuser.xxuser.hosts及hadoop.pr

不考虑stream kafka 支持，修改pom.xml 即可。<?xml version="1.0" encoding="UTF-8"?><!-- Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional inform

当livy出现如下错误Exception in thread "yarnAppMonitorThread-org.apache.livy.utils.SparkYarnApp@75e66c6" java.lang.NoClassDefFoundError: com/sun/jersey/core/util/FeaturesAndProperties at java.lang.ClassLoader.defineClass1(Native Method) at java.la