[发明专利]基于数据血缘分析的数据追踪方法、系统及存储介质

说明书

本发明涉及基于数据血缘分析的数据追踪方法，包括以下：根据数据开发任务的类型进行血缘关系表的构建，所述数据开发任务的类型具体通过是否为SQL类的数据进行划分；获取用户的查询请求；根据用户的查询请求，将血缘关系表中的关联数据予以展示。本发明能够对SQL类以及其他类的数据进行血缘关系的建立，是实现数据融合（聚合）的一个手段，并且通过血缘分析能够实现数据融合处理的可追溯。能够满足企事业单位的数据治理需求。

技术领域

本发明涉及数据治理领域，尤其涉及基于数据血缘分析的数据追踪方法、系统及存储介质。

背景技术

在人类社会中，血缘关系是指由婚姻或生育而产生的人际关系，是最早形成的一种社会关系。今天，人类进入了大数据时代。每天，世界上都有海量的，各种类型的，关系复杂的数据在快速产生。这些庞大复杂的数据汇聚又产生新的数据。数据在产生、融合、流转，消亡过程中形成一种逻辑关系。我们借鉴人类社会中的血缘关系来表达数据之间的这种关系，称之为数据的血缘关系。

数据治理里经常提到的一个词就是血缘分析，血缘分析是保证数据融合（聚合）的一个手段，通过血缘分析能够实现数据融合处理的可追溯。当今缺少一种较为系统有效的数据血缘分析方法，无法满足企事业单位的数据治理需求。

发明内容

本发明的目的是为了至少解决现有技术的不足之一，提供基于数据血缘分析的数据追踪方法、系统及存储介质。

为了实现上述目的，本发明采用以下的技术方案：

具体的，提出基于数据血缘分析的数据追踪方法，包括以下：

根据数据开发任务的类型进行血缘关系表的构建，所述数据开发任务的类型具体通过是否为SQL类的数据进行划分；

获取用户的查询请求；

根据用户的查询请求，将血缘关系表中的关联数据予以展示。

进一步，所述根据数据开发任务的类型进行血缘关系表的构建具体包括以下，

当判断为非SQL类的数据开发任务时，扫描运行环境中的同步任务配置信息，根据所述同步任务配置信息中的任务的输入以及输出确定当前任务中相关数据表的血缘关系，并将血缘关系写入血缘关系数据表中以更新血缘关系数据表；

当判断为SQL类的数据开发任务时，将当前任务执行的命令打包写入消息队列，从消息队列中获取数据，利用SQL的AST语法确定当前任务中的相关数据表的读、写属性并进行标记，通过SQL中的数据源信息确定是否已经存在有关相关数据表已建立的存储对象，如果已经存在，则根据SQL语法中的单语句读写关系，确定数据血缘流向，如果不存在，则为相关数据表建立对应的存储对象，再根据SQL语法中的单语句读写关系，确定数据血缘流向，最终根据确定的血缘数据流向更新血缘关系数据表；

最终根据以上两种数据开发任务的类型所更新的血缘关系数据表，完成血缘关系表的构件。

进一步，上述根据用户的查询请求，将血缘关系表中的关联数据予以展示具体包括以下，

根据用户的查询请求，获取血缘关系表中的关联数据，并对所述关联数据进行数据清洗得到清洗后的数据；

对清洗后的数据进行词法分析，生成抽象语法树，遍历抽象语法树对数据中的语句进行句法解析；

对句法解析后的抽象语法树，根据血缘关系分析结果绘制基于语句的数据血缘关系图，最终进行可视化展示。

进一步，上述数据清洗过程具体包括，获取含有SQL代码的脚本文件，并寻找SQL代码的标志位，利用标志位过滤脚本文件中的无关内容，保留得到规则化的SQL代码语句；