[发明专利]一种数据血缘关系分析方法

说明书

本申请公开了一种数据血缘关系分析方法，所述一种数据血缘关系分析方法包括如下步骤：(1)获取转换、从含有SQL代码的脚本文件中提取得到规则化的SQL语句，将所述SQL语句转换成抽象语法树；(2)句法解析、遍历抽象语法树对SQL语句进行句法解析；(3)解析策略、获取到所述抽象语法树解析策略，并根据句法分析和解析策略得出层级的节点；(4)迭代分析、以获得所述SQL语句对应的数据之间的血缘关系；(5)分析结果、根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果。通过该种方法能够以可视化的方式显示数据之间的依赖关系，方便后续业务的查询和开发管理，加强了对数据流动的监控，以可视化的方式理清了数据的源头与去向。

技术领域

本申请涉及数据处理技术领域，尤其是一种数据血缘关系分析方法。

背景技术

着数据爆炸时代的来临，数据对于个人和企业而言都成为了重要资产。在进行数据建设和管理时，数据从产生、加工和流转过程中会产生数据之间的血缘关系，当数据量不断增加后数据之间的血缘关系会更加复杂，当数据出现质量问题时，由于无法获取不同层级的数据之间的血缘关系。

现有对数据进行层层筛查，极大地增加了数据筛查的成本，有鉴于此，如何获取数据加工过程中数据之间的血缘关系，降低数据筛查的成本成为亟待解决的问题。因此，针对上述问题提出一种数据血缘关系分析方法。

发明内容

在本实施例中提供了一种数据血缘关系分析方法用于解决现有对数据进行层层筛查，极大地增加了数据筛查的成本，有鉴于此，如何获取数据加工过程中数据之间的血缘关系，降低数据筛查成本的问题。

根据本申请的一个方面，提供了一种数据血缘关系分析方法，所述数据血缘关系分析方法包括如下步骤；

(1)获取转换、从含有SQL代码的脚本文件中提取得到规则化的SQL语句，将所述SQL语句转换成抽象语法树；

(2)句法解析、遍历抽象语法树对SQL语句进行句法解析；

(3)解析策略、获取到所述抽象语法树解析策略，并根据句法分析和解析策略得出层级的节点；

(4)迭代分析、以获得所述SQL语句对应的数据之间的血缘关系；

(5)分析结果、根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果；

(6)制图显示、根据分析结果绘制SQL语句的数据血缘关系图。

进一步地，所述步骤(1)中将得到的SQL语句，并对SQL语句进行转换。

进一步地，所述步骤(1)中对规则化的SQL语句进行词法分析进而得到抽象语法树。

进一步地，所述步骤(2)中所述解析规则针对所述抽象语法树的不同层级的节点。

进一步地，所述步骤(2)中针对不同层级的节点将所述抽象语法树转换为逻辑指令。

进一步地，所述步骤(2)中对所得的逻辑指令进行迭代分析。

进一步地，所述步骤(3)中通过递归方法直到获取到层级最高的节点，并记录迭代过程中的数据之间的继承关系，进而将SQL语句对应的数据之间的血缘关系提取。

进一步地，所述步骤(3)中遍历所述抽象语法树的多个层级的节点。

进一步地，所述步骤(6)中根据所得到的SQL语句的数据血缘关系图进行可视化显示。

进一步地，所述步骤(6)中数据血缘是指数据产生的链路。

通过本申请上述实施例，通过该种数据血缘关系分析方法能够以可视化的方式显示数据之间的依赖关系，方便后续业务的查询和开发管理，加强了对数据流动的监控，以可视化的方式理清了数据的源头与去向。