[发明专利]一种数据字段映射方法、装置及存储介质

说明书

本公开提供了一种数据字段映射方法、装置及存储介质，用于解决数据库字段映射效率低的技术问题。本公开使用半监督的自然语言处理模型对源数据库的待映射字段和目标数据库的目标字段的字段名称进行向量化得到字段特征向量，使用自然语言处理模型计算待映射字段与目标字段之间的近似度，从而预测二者的映射关系，并通过人工修正，将修正后的对应关系加入训练样本，对模型进行迭代训练从而提高预测准确性。本公开借助机器学习技术辅助进行字段映射，相比于纯人工标注，减少了人工操作的工作量，提高了数据字段映射效率。

技术领域

本公开涉及通信及人工智能技术领域，尤其涉及一种数据字段映射方法、装置及存储介质。

背景技术

在研发型企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了“信息孤岛”。随着信息化应用的不断深入，在数字时代，组织必须对其数据进行一流的控制，以保持与市场的相关性。数据集成就是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。

数据映射是大型数据迁移和数据集成过程的必要组成部分，它是一种将数据源中的字段与数据仓库或其他存储库中的目标字段进行匹配的机制，字段可以是名称、电话、电子邮件等任何输入。在组织拥有比以往更多的数据源、类型和格式的时候将数据映射作为整体数据战略的一部分来解决问题尤其重要，数据映射可以中和数据错误和不匹配的可能性，有助于数据标准化过程并使预期的数据目的更清晰更容易理解。

对于现有的集成数据映射的产品来说，主要还是通过数据专家的专业知识，业务经验及规则的方式进行操作。这种方法存在着主观性强，过于依赖专家的情况。同时，人工标注很有可能会出现疏漏且成本高昂，一旦遇到经验不足或者专业知识不够的管理人员，很容易造成数据的映射错误。基于以上缺陷导致数据库字段映射效率不高。

发明内容

有鉴于此，本公开提供一种数据字段映射方法、装置及存储介质，用于解决数据库字段映射效率低的技术问题。

基于本公开一实施例，本公开提供了一种数据字段映射方法，该方法包括：

获取待映射数据源的待映射字段集及目标数据源的目标字段集；

对待映射字段集中的待映射字段和目标字段集中的目标字段分别进行词嵌入处理得到各字段的字段特征向量；

将待映射字段和目标字段的字段特征向量作为自然语言处理模型的输入，分别计算每个待映射字段与各目标字段之间的相似度；所述自然语言处理模型经标注过的训练样本训练获得；

将相似度最高的待映射字段与目标字段作为预测结果输出。

进一步地，所述方法还包括：

将预测结果输出以供用户确定映射关系；

接收经过修正的待映射字段和目标字段，并将修正的待映射字段和目标字段作为新的标注样本加入训练样本集，并对所述自然语言处理模型进行迭代训练。

进一步地，所述预测结果中包括相似度最高的待映射字段、目标字段及相似度。

进一步地，所述自然语言处理模型经标注过的训练样本集训练获得的方法为:

使用所述自然语言处理模型对经过标注的训练样本集中的训练样本进行向量化得到样本中源字段和目标字段的字段特征向量；

将训练样本集中的训练样本的字段特征向量输入到自然语言处理模型对模型进行训练，当模型预测结果的准确率和召回率未达到预设的迭代截止条件时，调整模型参数对所述自然语言处理模型迭代训练直到达到迭代截止条件。