[发明专利]基于neo4j大数据血缘关系管理方法、系统、设备及存储介质

说明书

本发明涉及基于neo4j大数据血缘关系管理方法、系统、设备及存储介质。方法包括以下步骤：解析SQL语句，生成相应的抽象语法树，对于每个抽象语法树，深度遍历该抽象语法树的每个节点，在每个节点采集相应的节点数据；将采集的节点数据关系存储于neo4j图形数据库，将采集的必要信息存储于HBase；将异构数据源的信息引入血缘关系系统，形成血缘关系。便于图形化展现各数据源、Hive表间的依赖关系和血缘关系。提升了大数据平台元数据管理能力的层次，加强了对平台内部数据流转的把控，理清数据的来龙去脉，打通了各异构数据源的隔阂，血缘关系作为一座桥梁，连接了各数据源。

技术领域

本发明涉及数据库技术领域，尤其涉及基于neo4j大数据血缘关系管理方法、系统、设备及存储介质。

背景技术

大数据时代，数据蕴藏着无限的价值。移动互联网的蓬勃发展，让各互联网公司积累了PB级别的用户数据和业务数据。在强大的需求驱动下，大数据技术也稳步成熟发展，通过HDFS，HBase，MongoDB，Kafka等存储组件，记录下了海量且持续增加的数据。

数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。

随着大数据的崛起，数据挖掘对于企业来说显得越来越重要。目前基于数据挖掘的开源解决方案有2种，WhereHows系统和Atlas系统。WhereHows系统，其所依赖组件非常多，而且github上的项目，文档滞后非常严重，编译会遇到非常多的问题，对于一个开源项目，这是致命伤，对使用者非常不友好。而且其依赖Azkaban，不支持字段级别的血缘。

而Atlas也是一个庞大的系统，需要依赖titan，solr等。研究人员尝试修改其元数据存储组件为HBase，但Atlas却只支持非常低级别的Hbase。对于ElasticSearch也是同样的问题，Atlas也只支持非常低级别ElasticSearch。若大数据团队为Atlas系统维护两个低级别的HBase和ElasticSearch，则成本太大。

发明内容

为了解决上述技术问题，本发明的目的在于提供基于neo4j大数据血缘关系管理方法、系统、设备及存储介质。

根据本发明的一个方面，提供了基于neo4j大数据血缘关系管理方法，包括以下步骤：

解析SQL语句，生成相应的抽象语法树，对于每个抽象语法树，深度遍历该抽象语法树的每个节点，在每个节点采集相应的节点数据；

将采集的节点数据关系存储于neo4j图形数据库，将采集的必要信息存储于HBase；

将异构数据源的信息引入血缘关系系统，形成血缘关系。

作为优选，采用Antlr语法分析工具，进行语法、词法和语义分析，生成相应的抽象语法树。

作为优选，基于neo4j大数据血缘关系管理方法还包括：

针对neo4j建立索引，优化查询语句。

作为优选，所述相应的节点数据包括源数据表、目标数据表、源数据表字段和目标数据表字段。

作为优选，所述的必要信息包括Hive SQL语句及运行Hive SQL的时间。

作为优选，将异构数据源的信息引入血缘关系系统，形成血缘关系，包括：

打通内部的ETL系统和接入分发系统，获取定位唯一数据源的数据信息并引入血缘关系系统。

根据本发明的另一个方面，提供了基于neo4j大数据血缘关系管理系统，包括：