[发明专利]一种血缘数据挖掘识别方法和装置

权利要求书

1.一种血缘数据挖掘识别方法，其特征在于，所述方法包括：

获取数据库的元数据信息，所述元数据信息包括元数据和元数据属性；

根据所述元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度；

根据所述最终相似度，从所述候选血缘数据中确定出所述待挖掘元数据的血缘数据。

2.根据权利要求1所述的血缘数据挖掘识别方法，其特征在于，在所述根据所述元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度之前，还包括：

通过直方图抽样算法，根据所述元数据的数据行数，得到样本容量；

按照所述样本容量，对所述元数据信息中的元数据进行抽样，得到抽样后的元数据。

3.根据权利要求1所述的血缘数据挖掘识别方法，其特征在于，所述根据所述元数据属性和元数据，对待挖掘元数据和候选血缘数据进行相似度计算，得到最终相似度，包括：

根据所述元数据属性，对待挖掘元数据和候选血缘数据的属性进行相似度计算，得到属性相似度，所述属性相似度包括列名相似度、列注释相似度和表名相似度；

根据所述列名相似度、列注释相似度和表名相似度，生成命名相似度；

根据所述元数据，对待挖掘元数据和候选血缘数据的数据进行相似度计算，得到数据相似度；

根据所述命名相似度和数据相似度，得到待挖掘元数据和候选血缘数据之间的最终相似度。

4.根据权利要求3所述的血缘数据挖掘识别方法，其特征在于，所述根据所述元数据属性，对待挖掘元数据和候选血缘数据的属性进行相似度计算，得到属性相似度，包括：

若预先生成的通用短语集合包括所述元数据属性，通过杰卡德相似系数算法对所述待挖掘元数据和候选血缘数据的元数据属性进行相似度计算，得到属性相似度；

若预先生成的通用短语集合不包括所述元数据属性，通过词向量模型对所述待挖掘元数据和候选血缘数据的元数据属性分别进行词向量转换，得到待挖掘向量集合和候选血缘向量集合；

通过词移距离算法，对所述待挖掘向量集合和候选血缘向量集合进行相似度计算，得到属性相似度。

5.根据权利要求3所述的血缘数据挖掘识别方法，其特征在于，根据所述列名相似度、列注释相似度和表名相似度，生成命名相似度，包括：

通过归一化函数和预设的属性权重，对所述列名相似度、列注释相似度和表名相似度进行计算，得到命名相似度。

6.根据权利要求3所述的血缘数据挖掘识别方法，其特征在于，所述根据所述元数据，对待挖掘元数据和候选血缘数据的数据进行相似度计算，得到数据相似度，包括：

根据所述元数据，对待挖掘元数据的数据进行容纳信息量计算，得到第一修正参数；

根据所述元数据，对待挖掘元数据的数据进行数据选择，得到第二修正参数；

根据所述元数据，对待挖掘元数据和候选血缘数据的数据进行关联程度计算，得到数据关联度；

通过归一化函数，根据所述第一修正参数、第二修正参数和数据关联度进行计算，得到数据相似度。

7.根据权利要求1所述的血缘数据挖掘识别方法，其特征在于，所述根据所述最终相似度，从所述候选血缘数据中确定出所述待挖掘元数据的血缘数据，包括：

根据所述最终相似度，选取出目标相似度；

将所述目标相似度对应的候选血缘数据确定为所述待挖掘元数据的血缘数据。

8.根据权利要求7所述的血缘数据挖掘识别方法，其特征在于，所述根据所述最终相似度，选取出目标相似度，包括：

对所述最终相似度进行排序；

根据排序后的最终相似度，选取出指定序列的目标相似度。