[发明专利]一种处理数据仓库中字段数据的方法和装置

权利要求书

1.一种处理数据仓库中字段数据的方法，其特征在于，包括：

获取数据仓库中待处理字段的特征数据；

获取一个或多个标准字段，所述标准字段具有特征数据；

根据所述待处理字段的特征数据和所述标准字段的特征数据，计算所述待处理字段分别与所述一个或多个标准字段的相似度；

根据计算出的相似度，从所述一个或多个标准字段中确定出所述待处理字段对应的目标字段，以利用所述目标字段关联所述待处理字段。

2.根据权利要求1所述的方法，其特征在于，获取数据仓库中待处理字段的特征数据的步骤，包括：

获取所述数据仓库的执行语句；

对所述执行语句进行解析，确定所述待处理字段和所述待处理字段的特征数据。

3.根据权利要求2所述的方法，其特征在于，对所述执行语句进行解析，确定待所述待处理字段和所述待处理字段的特征数据的步骤，包括：

对所述执行语句进行解析，确定所述待处理字段对应的关联任务；

根据所述关联任务，确定所述待处理字段的关联字段，将所述关联字段作为所述待处理字段。

4.根据权利要求3所述的方法，其特征在于，对所述执行语句进行解析，确定所述待处理字段对应的关联任务的步骤，包括：

利用抽象语法树，对所述执行语句进行解析，确定所述待处理字段对应的关联任务；其中，所述关联任务包括待处理字段对应的父任务。

5.根据权利要求1所述的方法，其特征在于，获取一个或多个标准字段的步骤，包括：

获取所述数据仓库中待处理字段的类别信息；

根据所述类别信息，获取所述待处理字段对应的一个或多个标准字段。

6.根据权利要求1-5任一所述的方法，其特征在于，所述特征数据包括字段名称、字段类型和字段描述。

7.根据权利要求6所述的方法，其特征在于，计算所述待处理字段分别与所述一个或多个标准字段的相似度的步骤，包括：

采用关键词查询模型计算所述待处理字段的字段名称和字段类型分别与所述一个或多个标准字段的字段名称和字段类型的第一相似度；

采用语义分析模型计算所述待处理字段的字段描述分别与所述一个或多个标准字段的字段描述的第二相似度；

根据所述第一相似度和所述第二相似度，计算所述待处理字段分别与所述一个或多个标准字段的相似度。

8.根据权利要求7所述的方法，其特征在于，计算所述待处理字段分别与所述一个或多个标准字段的相似度的步骤，包括：

采用tfidf模型对所述字段名称和所述字段类型进行向量表示，以计算所述待处理字段的字段名称和字段类型分别与所述一个或多个标准字段的字段名称和字段类型的第一相似度；

采用bert模型对所述字段描述进行向量表示，以计算所述待处理字段的字段描述分别与所述一个或多个标准字段的字段描述的第二相似度；

根据所述第一相似度和所述第二相似度，计算所述待处理字段分别与所述一个或多个标准字段的相似度。

9.根据权利要求1所述的方法，其特征在于，利用所述目标字段关联所述待处理字段的步骤，包括：

将所述待处理字段替换为所述目标字段；以及，

在所述数据仓库中创建新数据表的情况下，利用所述一个或多个标准字段表示创建的新数据表中的字段。

10.一种处理数据仓库中字段数据的装置，其特征在于，包括：

待处理字段获取模块，用于获取数据仓库中待处理字段的特征数据；

标准字段获取模块，用于获取一个或多个标准字段，所述标准字段具有特征数据；

相似度确定模块，用于根据所述待处理字段的特征数据和所述标准字段的特征数据，计算所述待处理字段分别与所述一个或多个标准字段的相似度；

目标字段获取模块，用于根据计算出的相似度，从所述一个或多个标准字段中确定出所述待处理字段对应的目标字段，以利用所述目标字段关联所述待处理字段。