[发明专利]一种数据血缘确定方法和装置

说明书

本发明涉及数据治理技术领域，提供了数据血缘确定方法和装置，包括：接收第一数据表和第二数据表各自的表名和表结构信息，所述表结构信息包括数据表中、英文字段名，字段类型和字段长度；计算所述第一数据表和所述第二数据表的表名相似度；根据所述表名相似度和所述字段相似度矩阵，计算所述第一数据表和所述第二数据表的血缘关系得分；根据所述血缘关系得分和预设阈值，确定所述第一数据表和所述第二数据表是否具有血缘关系。本发明利用表名和/或字段名相似关系确定数据表的数据血缘，达到不依赖审计日志及无需分析数据生产代码获得数据血缘的目的,可实现利用最少的数据表信息，确定数据血缘。

技术领域

本发明涉及数据治理技术领域，特别涉及一种数据血缘确定方法和装置。

背景技术

数据血缘(Data Lineage)是指数据产生的链路，它描述了一张表依赖哪些其他表，以及表内字段是如何依赖其他表的字段生成的。通过数据血缘可以清楚地知道数据生产的上下游依赖关系。当企业的业务种类繁多、业务体量很大的时候，支撑业务的整个数据库系统会涉及成百上千张表，表与表之间会形成非常复杂的依赖关系。如果业务变更比较频繁、开发周期短、人员流动高，随着时间流逝，表结构和表依赖关系可能会频繁发生变化，最终导致表与表之间关联关系变得复杂且难以追溯。常见的依赖关系都是数据表和生产任务之间的依赖，对于生产任务具体用到了上游数据表中的哪些字段只有在编码逻辑中才能体现，例如，数据库A或者A部门将更新的数据文件保存到指定目录，通过FTP或其他同步方式发送给数据库B，数据库B调用代码对数据文件进行解析，经过对若干字段的一系列计算，将最终计算的结果插入数据库B中，用于更新已经存在的字段或保存为新字段，具体计算过程是无法暴露给数据使用方的。拥有数据的企业请外部软件服务提供商执行数据治理任务时，往往只向外部合作方提供表头、数据字典等信息，外部合作方难以获得表格产生、变迁历史的中间过程记录，而数据库审计日志也难以体现全部中间处理流程。执行数据治理任务时首先需要理清依赖关系，以便搞清楚一个上游数据的变化会影响到哪些下游数据。如何不依赖中间处理过程记录甚至审计日志，获得精确的数据血缘，成为一个亟待解决的难题。

发明内容

本发明的实施例提供一种数据血缘确定方法和装置，利用表名和/或字段名相似关系确定数据表的数据血缘，达到不依赖审计日志或分析数据生产代码即可获得数据血缘的目的。

为达到上述目的，本发明实施例采用了如下技术方案：

第一方面，公开了一种数据血缘确定方法，包括：

接收第一数据表和第二数据表各自的表名和表结构信息，所述表结构信息包括数据表中、英文字段名，字段类型和字段长度；

计算所述第一数据表和所述第二数据表的表名相似度；

根据所述表结构信息，计算所述第一数据表的任一字段与所述第二数据表的任一字段的相似度，获得字段相似度矩阵；

根据所述表名相似度和所述字段相似度矩阵，计算所述第一数据表和所述第二数据表的血缘关系得分；

根据所述血缘关系得分和预设阈值，确定所述第一数据表和所述第二数据表是否具有血缘关系。

结合第一方面，在第一种可能的实现方式中，所述计算所述第一数据表的任一字段与所述第二数据表的任一字段的相似度，获得字段相似度矩阵，包括：

获取所述第一数据表的M个字段的中、英文字段名和所述第二数据表的N个字段的中、英文字段名；

计算所述第一数据表的每一个字段与所述第二数据表每一个字段的字段名的编辑距离，获得M乘以N个编辑距离，所述字段名是中文字段名或英文字段名；

根据所述编辑距离、字段类型相似度、字段长度相似度中的至少一个，计算所述字段的相似度；