[发明专利]一种基于Elastic Search的血缘关系表示方法

说明书

本发明属于大数据技术领域，尤其涉及一种基于Elastic Search的血缘关系表示方法。拟解决现有技术中提到的基于图数据库下的血缘管理，存在后期使用、学习和维护管理成本高的问题。提供了如下技术方案，解析单元获取待解析的SQL语句，并对SQL语句进行解析得到表名、字段以及表与表之间的相互依赖数据结构；分析单元遍历步骤1中得到的结果，并将结果中的关系依次存入到Elastic Search中；展示单元查询Elastic Search中索引，得到血缘关系数据，前端进行血缘关系展示。通过将血缘关系数据用E l ast ic Search展示，将计算与存储有机结合一起，可以充分发挥E l ast ic Search的快速查询和维护管理方便的特性，降低了对于血缘关系的学习使用，管理和维护成本。

技术领域

本发明属于大数据技术领域，尤其涉及一种基于Elastic Search的血缘关系表示方法。

背景技术

随着大数据技术的不断发展，部分公司均建立了符合自己业务的离线数据仓库或实时数据仓库，数据仓库被广泛运用与数据大屏、风险识别或业务决策。随着数据仓库接入的表和建立的模型增多，对于数据仓库的元数据血缘管理就变得越来越重要。一个良好的元数据血缘关系，可以很清晰和方便的看出表与表、表与模型之间的关系。对数据流向追踪、业务问题排查、减少维护成本等有着十分重要的作用。

目前针对血缘关系展示的方法，全是基于图数据库。基于图数据库进行血缘管理，优点是图数据库底层原理特别适合存储关系属性数据；缺点是图数据库稳定的产品大多商业化，其次是对于图数据库的查询没有通用的查询语言，并不支持SQL查询，需要单独学习一种新的查询语言；最后就是在表名，列名和任务之间，不能很好的实现相互查询。因此，基于图数据库下的血缘管理，存在后期使用、学习和维护管理成本高的问题。

发明内容

本发明提供了一种基于Elastic Search的血缘关系表示方法，拟解决现有技术中提到的基于图数据库下的血缘管理，存在后期使用、学习和维护管理成本高的问题。

本发明为解决上述技术问题提供了如下技术方案：

一种基于Elastic Search的血缘关系表示方法包括以下步骤：

步骤1：解析单元获取待解析的SQL语句，并对SQL语句进行解析得到表名、字段以及表与表之间的相互依赖数据结构；

步骤2：分析单元遍历步骤1中得到的结果，并将结果中的关系依次存入到ElasticSearch中；

步骤3：展示单元查询Elastic Search中索引，得到血缘关系数据，前端进行血缘关系展示。

步骤1中所述的SQL语句位于SQL中，所述SQL包括SQL语句、任务名以及集群名称；优选的，所述SQL通过HTTP的POST方式进行上传。

优选的，步骤1中对SQL的解析采用递归解析法，具体步骤如下：

步骤1.1：通过开源的动态数据管理框架获得要解析的SQL的抽象语法树；

步骤1.2：用一个List结构存放每次递归访问的数据，通过递归遍历步骤1.1中的抽象语法树，得到一条SQL语句中的表、字段以及表与表之间的相互关系；

步骤1.3：用一个List结构存放每次递归访问的数据，通过递归遍历步骤1.1中的抽象语法树，获得SQL语句中的中间表，将中间表加上一个符号“”；非中间表不包含“”。

优选的，定义一种用于存储步骤1.2获得的数据结果的数据结构LinegeTable，解析LinegeTable，解析后的数据物理存储为Elastic Search中的一个索引。

优选的，所述步骤2包括以下步骤：