[发明专利]一种确定数据血缘关系的方法、装置、计算机设备和介质

说明书

本申请提供了一种确定数据血缘关系的方法、装置、计算机设备和介质，该方法包括：根据数据血缘确定需求中的第一待检测数据和第二待检测数据，确定第一待检测数据所在第一数据表的第一数据信息和第二待检测数据所在第二数据表的第二数据信息；根据第一数据信息的数据表名称和第二数据信息的数据表名称之间的第一名称相似度，确定第一数据表与第二数据表之间的强关联程度；根据第一数据信息的数据表名称和第二数据信息的数据表名称，以及第一数据表和第二数据表分别对应的属性信息，确定第一数据表与第二数据表之间的弱关联程度；根据强关联程度和弱关联程度，确定第一待检测数据和第二待检测数据的血缘关系。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种确定数据血缘关系的方法、装置、计算机设备和介质。

背景技术

数据血缘是数据间的链路关系，可以用来描述数据的产生经过了哪些过程和阶段，包括新增、加工、组合、转换等等。随着社会的迅速发展，在这个数据信息高速流通的时代，无论是制造产业，还是日常的生活中，每时每刻都会产生大量的数据，并且在当今社会这些数据成为了社会生产的宝贵财富，这些数据经过科研人员的分析，会继续创造更高的价值。

一般数据都是存储在数据库中，不同的数据会根据对应的分类或者来源存储于对应的数据表中，也就是，在数据库中会存储有多个数据表，随着时间的流逝，数据库中每个数据表的依赖关系会频繁发生变化，导致数据表与数据表之间的关联关系变得复杂、难以追溯。

发明内容

有鉴于此，本申请的目的在于提供一种确定数据血缘关系的方法、装置、计算机设备和介质，用于解决现有技术中数据之间血缘关系确定不准确的问题。

第一方面，本申请实施例提供了一种确定数据血缘关系的方法，包括：

根据数据血缘确定需求中的第一待检测数据和第二待检测数据，确定所述第一待检测数据所在第一数据表的第一数据信息和所述第二待检测数据所在第二数据表的第二数据信息；

根据所述第一数据信息的数据表名称和所述第二数据信息的数据表名称之间的第一名称相似度，确定所述第一数据表与所述第二数据表之间的强关联程度；

根据所述第一数据信息的数据表名称和所述第二数据信息的数据表名称之间的第二名称相似度，以及根据所述第一数据信息所在的所述第一数据表的属性信息和所述第二数据信息所在的所述第二数据表的属性信息之间的属性相似度，确定所述第一数据表与所述第二数据表之间的弱关联程度；

根据所述强关联程度和所述弱关联程度，确定所述第一待检测数据和所述第二待检测数据的血缘关系。

可选的，根据所述第一数据信息的数据表名称和所述第二数据信息的数据表名称之间的第一名称相似度，确定所述第一数据表与所述第二数据表之间的强关联程度，包括：

根据所述第一数据信息的数据表名称与所述第二数据信息的数据表名称中出现的相同关键词，计算所述第一数据信息和第二数据信息分别对应的数据表名称之间的第一名称相似度；

将所述第一数据信息和第二数据信息分别对应的数据表名称之间的第一名称相似度，确定为所述第一数据表与所述第二数据表之间的强关联程度。

可选的，通过如下步骤计算所述第一数据信息的数据表名称和所述第二数据信息的数据表名称之间的第二名称相似度：

根据所述第一数据信息的数据表名称与所述第二数据信息的数据表名称分别对应语义，计算所述第一数据信息和第二数据信息分别对应的数据表名称之间的第二名称相似度。

可选的，通过如下步骤计算所述根据所述第一数据信息所在的所述第一数据表的属性信息和所述第二数据信息所在的所述第二数据表的属性信息之间的属性相似度：

根据所述第一数据表的数据字段与所述第二数据表的数据字段之间字符串的距离，计算所述第一数据表和第二数据表分别对应的数据字段之间的第一属性相似度；