[发明专利]一种模型训练方法、装置、实现对标处理的方法及装置

说明书

一种模型训练方法、装置、实现对标处理的方法及装置，实现对标处理的方法包括：获取预设数量的映射配置数据；对获取的映射配置数据进行特征提取，获得对标特征；根据映射配置数据对提取获得的对标特征进行训练，获得用于自动对标的对标模型；根据获得的对标模型对标准化数据进行自动对标处理；其中，所述对标特征包括以下一项或任意组合：源表中文名、目标表中文名、源表英文名、目标表英文名、源表字段中文含义、目标表字段中文含义、源表字段英文名、目标表字段英文名。本发明实施例提取对标特征后，基于对标特征训练获得对标模型，实现了标准化数据的自动对标，提升了对标速度和准确度。

技术领域

本文涉及但不限于知识图谱技术，尤指一种模型训练方法、装置、实现对标处理的方法及装置。

背景技术

目前，多数知识图谱的构建一般涉及非标准化和标准化的多源数据，构建知识图谱包括对多源数据进行标准化处理、对标准化处理后的数据进行对标等过程；图1为相关技术构建知识图谱的流程图，如图1所示，包括：步骤101、对多源数据进行标准化处理，获得标准化数据；步骤102、对标准化数据进行手动对标，获得映射配置数据；其中，对标包括源表中文名和目标表中文名、源表英文名和目标表英文名、源表字段中文含义和目标表字段中文含义、以及源表字段英文名和目标表字段英文名的对标；步骤103、根据获得的映射配置数据，通过计算机引擎确定实体、实体属性、实体间关系及实体轨迹数据等，实现知识图谱构建。

在数据源种类多、数据量大时，相关技术中对标过程存在以下问题：1、手动对标，效率低、耗时长；2、人为对标容易发生错漏，影响准确率；此外，对标过程需要技术人员具备专业业务能力，因此，无法通过引入大量技术人员的方式来提升对比效率。

综上，如何提升对标速度和准确度，成为构建知识图谱过程中有待解决的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种模型训练方法、装置、实现对标处理的方法及装置，能够提升对标速度和准确度。

本发明实施例还提供一种模型训练方法，包括：

获取预设数量的映射配置数据；

对获取的映射配置数据进行特征提取，获得对标特征；

根据映射配置数据对提取获得的对标特征进行训练，获得用于自动对标的对标模型；

其中，所述对标特征包括以下一项或任意组合：源表中文名、目标表中文名、源表英文名、目标表英文名、源表字段中文含义、目标表字段中文含义、源表字段英文名、目标表字段英文名。

在一种示例性实施例中，所述对获取的映射配置数据进行特征提取之后，所述模型训练方法还包括：

对获得的所述对标特征进行预处理；

所述预处理包括空值和/或异常值处理。

在一种示例性实施例中，所述根据映射配置数据对提取获得的对标特征进行训练，包括：

根据所述预设配置信息遍历确定对标特征之间的对标关系；

根据确定的所述对标特征之间的对标关系，获得用于自动对标的对标模型。

在一种示例性实施例中，所述根据所述预设配置信息遍历确定对标特征之间的映射关系，包括：

所述对标特征包括所述源表中文名和所述目标表中文名时，对每一个源表中文名，分别进行以下处理：根据所述预设配置信息，遍历确定与当前源表中文名对标的所有目标表中文名，建立当前源表中文名与所有对标的目标表的中文名之间的对标关系；