[发明专利]基于数据血缘分析的数据追踪方法、系统及存储介质

权利要求书

1.基于数据血缘分析的数据追踪方法，其特征在于，包括以下：

根据数据开发任务的类型进行血缘关系表的构建，所述数据开发任务的类型具体通过是否为SQL类的数据进行划分；

获取用户的查询请求；

根据用户的查询请求，将血缘关系表中的关联数据予以展示；

所述根据数据开发任务的类型进行血缘关系表的构建具体包括以下，

当判断为非SQL类的数据开发任务时，扫描运行环境中的同步任务配置信息，根据所述同步任务配置信息中的任务的输入以及输出确定当前任务中相关数据表的血缘关系，并将血缘关系写入血缘关系数据表中以更新血缘关系数据表；

当判断为SQL类的数据开发任务时，将当前任务执行的命令打包写入消息队列，从消息队列中获取数据，利用SQL的AST语法确定当前任务中的相关数据表的读、写属性并进行标记，通过SQL中的数据源信息确定是否已经存在有关相关数据表已建立的存储对象，如果已经存在，则根据SQL语法中的单语句读写关系，确定数据血缘流向，如果不存在，则为相关数据表建立对应的存储对象，再根据SQL语法中的单语句读写关系，确定数据血缘流向，最终根据确定的血缘数据流向更新血缘关系数据表；

最终根据以上两种数据开发任务的类型所更新的血缘关系数据表，完成血缘关系表的构建。

2.根据权利要求1所述的基于数据血缘分析的数据追踪方法，其特征在于，上述根据用户的查询请求，将血缘关系表中的关联数据予以展示具体包括以下，

根据用户的查询请求，获取血缘关系表中的关联数据，并对所述关联数据进行数据清洗得到清洗后的数据；

对清洗后的数据进行词法分析，生成抽象语法树，遍历抽象语法树对数据中的语句进行句法解析；

对句法解析后的抽象语法树，根据血缘关系分析结果绘制基于语句的数据血缘关系图，最终进行可视化展示。

3.根据权利要求2所述的基于数据血缘分析的数据追踪方法，其特征在于，

上述数据清洗过程具体包括，获取含有SQL代码的脚本文件，并寻找SQL代码的标志位，利用标志位过滤脚本文件中的无关内容，保留得到规则化的SQL代码语句；

上述词法分析过程具体包括，对规则化的SQL语句进行词法分析，根据语法规则对规则化的SQL语句进行关键词划分，并对每个关键词进行标签标识，并将每个标识后的SQL语句作为一个节点，生成为一棵抽象语法树，遍历抽象语法树，为每个标签对应的SQL语句赋予句法意义，实现对SQL语句的句法解析；

上述遍历抽象语法树对数据中的语句进行句法解析具体包括，处理抽象语法树中标识出的节点数据，将源数据表和源数据字段作为节点数据的输入集合，将目标数据表和目标数据字段作为节点数据的输出集合，对节点数据的来源和去向分别进行映射，得到血缘关系分析结果；

上述可视化展示具体包括，绘制数据血缘关系图中数据表和字段节点，并根据血缘关系分析结果，关联数据血缘关系图中的节点并绘制箭头指向连线，将绘制好的数据血缘关系图发送至用户终端进行可视化显示。