[发明专利]一种血缘数据挖掘识别方法和装置

说明书

本发明实施例提供了一种血缘数据挖掘识别方法和装置，可用于人工智能技术领域，所述方法包括：获取数据库的元数据信息，元数据信息包括元数据和元数据属性；根据元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度；根据最终相似度，从候选血缘数据中确定出待挖掘元数据的血缘数据，可以自动化从数据库中挖掘出底层血缘数据，得到完整的数据血缘关系，满足底层数据血缘关系挖掘需求。

技术领域

本发明涉及计算机技术领域，特别涉及人工智能技术领域，尤其涉及一种血缘数据挖掘识别方法和装置。

背景技术

数据血缘关系是指数据在产生、处理、流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系。数据治理中常用到血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析可以实现数据处理的可追溯。相关技术中，主要通过解析查询语句(SQL语句)中的连结(join)条件获取字段级的关联关系，部分方案可以依照聚合函数获取字段级的融合路径。但在底层数据血缘的挖掘任务中，由于受限于数据库开发规范以及其他研发习惯，仅依赖SQL做数据查询插入的功能极少，SQL语句中的join条件也不能覆盖全部的潜在数据血缘，无法得到完整的数据血缘关系，不能满足底层数据血缘关系挖掘的需求。

发明内容

本发明的一个目的在于提供一种血缘数据挖掘识别方法，可以自动化从数据库中挖掘出底层血缘数据，得到完整的数据血缘关系，满足底层数据血缘关系挖掘需求。本发明的另一个目的在于提供一种血缘数据挖掘识别装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。

为了达到以上目的，本发明一方面公开了一种血缘数据挖掘识别方法，包括：

获取数据库的元数据信息，元数据信息包括元数据和元数据属性；

根据元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度；

根据最终相似度，从候选血缘数据中确定出待挖掘元数据的血缘数据。

优选的，在根据元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度之前，还包括：

通过直方图抽样算法，根据元数据的数据行数，得到样本容量；

按照样本容量，对元数据信息中的元数据进行抽样，得到抽样后的元数据。

优选的，根据元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度，包括：

根据元数据属性，对待挖掘元数据和候选血缘数据的属性进行相似度计算，得到属性相似度，属性相似度包括列名相似度、列注释相似度和表名相似度；

根据列名相似度、列注释相似度和表名相似度，生成命名相似度；

根据元数据，对待挖掘元数据和候选血缘数据的数据进行相似度计算，得到数据相似度；

根据命名相似度和数据相似度，得到待挖掘元数据和候选血缘数据之间的最终相似度。

优选的，根据元数据属性，对待挖掘元数据和候选血缘数据的属性进行相似度计算，得到属性相似度，包括：

若预先生成的通用短语集合包括元数据属性，通过杰卡德相似系数算法对待挖掘元数据和候选血缘数据的元数据属性进行相似度计算，得到属性相似度；

若预先生成的通用短语集合不包括元数据属性，通过词向量模型对待挖掘元数据和候选血缘数据的元数据属性分别进行词向量转换，得到待挖掘向量集合和候选血缘向量集合；

通过词移距离算法，对待挖掘向量集合和候选血缘向量集合进行相似度计算，得到属性相似度。