[发明专利]模型训练方法、文本语义相似度确定方法、装置和设备

说明书

本公开实施例公开了模型训练方法、文本语义相似度确定方法、装置和设备。所述方法包括：获取训练用数据集，所述训练用数据集包括至少两个领域的数据集；使用所述训练用数据集对预先构建的相似度确定模型进行训练，得到训练后的相似度确定模型，所述训练后的相似度确定模型用于对所述训练用数据集对应领域的待匹配文本进行文本语义相似度确定。利用该方法，通过至少两个领域的数据集对预先构建的相似度确定模型进行训练，提高了训练后相似度确定模型的通用性，有效的解决文本语义相似度确定时，相似度确定模型对数据分布敏感的技术问题，增强了相似度确定模型的鲁棒性。

技术领域

本公开实施例涉及计算机技术领域，尤其涉及模型训练方法、文本语义相似度确定方法、装置和设备。

背景技术

随着计算机技术的飞速发展，文本语义相似度的计算在许多领域有着广泛的应用。文本语义相似度计算又称文本匹配，目的是研究两段文本间的关系，如两段文本是否表达同一语义。

相关技术中，通常基于传统短文本相似度匹配模型计算文本语义相似度，在计算文本语义相似度时，对数据分布高度敏感，对测试数据中与训练数据分布差异较大的数据不能很好的判断。

发明内容

本公开实施例提供了模型训练方法、文本语义相似度确定方法、装置和设备，有效的解决文本语义相似度确定时，相似度确定模型对数据分布敏感的技术问题，增强了相似度确定模型的鲁棒性。

第一方面，本公开实施例提供了一种相似度确定模型的训练方法，包括：

获取训练用数据集，所述训练用数据集包括至少两个领域的数据集；

使用所述训练用数据集对预先构建的相似度确定模型进行训练，得到训练后的相似度确定模型，所述训练后的相似度确定模型用于对所述训练用数据集对应领域的待匹配文本进行文本语义相似度确定。

第二方面，本公开实施例还提供了一种文本语义相似度确定方法，包括：

获取待匹配文本；

将所述待匹配文本输入至训练后的相似度确定模型，获取所述待匹配文本的文本语义相似度，所述训练后的相似度确定模型基于本公开实施例提供的相似度确定模型的训练方法训练得到。

第三方面，本公开实施例提供了一种相似度确定模型的训练装置，包括：

获取模块，用于获取训练用数据集，所述训练用数据集包括至少两个领域的数据集；

训练模块，用于使用所述训练用数据集对预先构建的相似度确定模型进行训练，得到训练后的相似度确定模型，所述训练后的相似度确定模型用于对所述训练用数据集对应领域的待匹配文本进行文本语义相似度确定。

第四方面，本公开实施例提供了一种文本语义相似度确定装置，包括：

第一获取模块，用于获取待匹配文本；

第二获取模块，用于将所述待匹配文本输入至训练后的相似度确定模型，获取所述待匹配文本的文本语义相似度，所述训练后的相似度确定模型基于本公开实施例提供的相似度确定模型的训练方法训练得到。

第五方面，本公开实施例提供了一种电子设备，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现本公开实施例提供的相似度确定模型的训练方法，或本公开实施例提供的文本语义相似度确定方法。

第六方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开实施例提供的相似度确定模型的训练方法，或本公开实施例提供的文本语义相似度确定方法。