[发明专利]一种处理数据仓库中字段数据的方法和装置

说明书

本发明公开了一种处理数据仓库中字段数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据仓库中待处理字段的特征数据；获取一个或多个标准字段，其中，标准字段具有特征数据；根据待处理字段的特征数据和标准字段的特征数据，计算待处理字段分别与一个或多个标准字段的相似度；根据计算出的相似度，从一个或多个标准字段中确定出待处理字段对应的目标字段，以利用目标字段关联待处理字段。该方法能够挖掘出数据仓库中各个字段与标准字段的映射关系，减少了维护成本，提升了开发效率，并有助于代码规范化。

技术领域

本发明涉及计算机技术领域，尤其涉及一种处理数据仓库中字段数据的方法和装置。

背景技术

数据仓库(Data Warehouse)简称DW或DWH，是数据存储集合，其中含有与多种类型的数据、不同的数据存储结构。在电商，银行，或金融等各大领域，随着数据仓库所包含的数据越来越多，出现了字段命名不统一的情况，例如，数据仓库中出现越来越多的多义同字段和同义多字段，这造成了降低开发效率，增加维护成本的问题。

发明内容

有鉴于此，本发明实施例提供一种处理数据仓库中字段数据的方法和装置，能够挖掘出数据仓库中各个字段与标准字段的映射关系，减少了维护成本，提升了开发效率，并有助于代码规范化。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理数据仓库中字段数据的方法。

本发明实施例的处理数据仓库中字段数据的方法包括：获取数据仓库中待处理字段的特征数据；获取一个或多个标准字段，所述标准字段具有特征数据；根据所述待处理字段的特征数据和所述标准字段的特征数据，计算所述待处理字段分别与所述一个或多个标准字段的相似度；根据计算出的相似度，从所述一个或多个标准字段中确定出所述待处理字段对应的目标字段，以利用所述目标字段关联所述待处理字段。

可选地，获取数据仓库中待处理字段的特征数据的步骤，包括：获取所述数据仓库的执行语句；对所述执行语句进行解析，确定所述待处理字段和所述待处理字段的特征数据。

可选地，对所述执行语句进行解析，确定待所述待处理字段和所述待处理字段的特征数据的步骤，包括：对所述执行语句进行解析，确定所述待处理字段对应的关联任务；根据所述关联任务，确定所述待处理字段的关联字段，将所述关联字段作为所述待处理字段。

可选地，对所述执行语句进行解析，确定所述待处理字段对应的关联任务的步骤，包括：利用抽象语法树，对所述执行语句进行解析，确定所述待处理字段对应的关联任务；其中，所述关联任务包括待处理字段对应的父任务。

可选地，在获取一个或多个标准字段的步骤，包括：获取所述数据仓库中待处理字段的类别信息；根据所述类别信息，获取所述待处理字段对应的一个或多个标准字段。

可选地，所述特征数据包括字段名称、字段类型和字段描述。

可选地，计算所述待处理字段分别与所述一个或多个标准字段的相似度的步骤，包括：采用关键词查询模型计算所述待处理字段的字段名称和字段类型分别与所述一个或多个标准字段的字段名称和字段类型的第一相似度；采用语义分析模型计算所述待处理字段的字段描述分别与所述一个或多个标准字段的字段描述的第二相似度；根据所述第一相似度和所述第二相似度，计算所述待处理字段分别与所述一个或多个标准字段的相似度。

可选地，计算所述待处理字段分别与所述一个或多个标准字段的相似度的步骤，包括：采用tfidf模型对所述字段名称和所述字段类型进行向量表示，以计算所述待处理字段的字段名称和字段类型分别与所述一个或多个标准字段的字段名称和字段类型的第一相似度；采用bert模型对所述字段描述进行向量表示，以计算所述待处理字段的字段描述分别与所述一个或多个标准字段的字段描述的第二相似度；根据所述第一相似度和所述第二相似度，计算所述待处理字段分别与所述一个或多个标准字段的相似度。