[发明专利]数据血缘分析方法、装置、设备及存储介质

权利要求书

1.一种数据血缘分析方法，其特征在于，所述方法包括：

获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；

梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；

提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；

遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；

检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；

对比所述备份临时表及所述关系结果表中的数据，确定变更数据；

利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。

2.如权利要求1所述的数据血缘分析方法，其特征在于，所述获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据，包括：

根据预设的分布式采样方式获取各业务系统中数据库的原始系统表；

抽取所述原始系统表中的表数据，并将所述表数据拆分成预设个数的表数据文件；

利用数据抽取工具对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据。

3.如权利要求2所述的数据血缘分析方法，其特征在于，所述对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据，包括：

利用预设的距离公式对所述所述表数据文件中的表数据进行去重处理，得到去重数据；

利用预设的双边测试剔除法对所述去重数据进行去异常处理，得到去异常数据；

利用预设的填充算法对所述去异常数据进行缺失值填充，得到所述系统表数据。

4.如权利要求3所述的数据血缘分析方法，其特征在于，所述梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图，包括：

提取所述系统表数据中系统表、系统表中的字段及业务系统的引用关系；

确定所述业务系统的名称为第一节点、所述系统表的名称为第二节点及所述字段的名称为第三节点；

根据所述引用关系构建所述第一节点、所述第二节点及所述第三节点间的连边；

汇总所述第一节点、所述第二节点、所述第三节点及各节点间的连边，得到字段关系图；

利用正则表达式设置字段解析语句，利用所述字段解析语句对所述字段关系图中的字段进行加工过程解析，得到字段加工结果；

将所述字段加工结果作为第四节点添加至所述字段关系图中，得到所述关系树状图。

5.如权利要求1至4中任意一项所述的数据血缘分析方法，其特征在于，所述遍历所述关系树状图中各节点的数据，并生成第一血缘关系图，包括：

将所述关系树状图中各节点的数据确定为实体集合；

设置所述实体集合中各实体的属性，并确定所述实体集合中各实体间的联系；

汇总所有实体、属性及联系得到所述第一血缘关系图。

6.如权利要求5所述的数据血缘分析方法，其特征在于，所述对比所述备份临时表及所述关系结果表中的数据，确定变更数据，包括：

利用预设的哈希算法对所述备份临时表及所述关系结果表中的数据进行哈希处理，得到备份哈希值集合及关系哈希值集合；

依次对比所述备份哈希值集合及所述关系哈希值集合中的哈希值；

确定哈希值不同的数据为所述变更数据。

7.如权利要求5所述的数据血缘分析方法，其特征在于，所述利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，包括：

提取所述变更数据中涉及的变更系统表及变更字段；

利用所述变更系统表及变更字段替换所述关系树状图中历史节点的数据；

利用替换完成的关系树状图中各节点的数据更新所述第一血缘关系图中各节点的数据，生成所述第二血缘关系图。