[发明专利]文本相似度识别模型的训练方法、装置及相关设备

权利要求书

1.一种文本相似度识别模型的训练方法，其特征在于，所述方法包括：

获取多组第一样本组，每组第一样本组包括预先标注的第一文本样本和第二文本样本，所述第一文本样本和第二文本样本表意相同；

分别计算每个所述第一文本样本与LCQMC数据集中各个元素之间的字面相似度，将所述字面相似度达到预设阈值的所述元素作为第三文本样本；

接收对所述第三文本样本的标注信息，得到与各个所述第二文本样本对应的负文本样本，形成多组包括所述第一文本样本、所述第二文本样本和所述负文本样本的第二样本组，所述负文本样本与所述第一文本样本、所述第二文本样本的表意不同；

通过文本相似度识别模型分别将每组所述第二样本组中的所述第一文本样本、所述第二文本样本、所述负文本样本用表示向量进行表示；

根据所述表示向量计算每组所述第二样本组的所述第一文本样本和所述第二文本样本之间的第一相似度，以及计算每组所述第二样本组的所述负文本样本和所述第二文本样本之间的第二相似度；

当所述第一相似度大于第二相似度的组数在所述第二样本组总组数中的占比未超过预设占比时，调整所述文本相似度识别模型中所述表示向量的参数，重复获取所述表示向量至比较所述占比与所述预设占比，直至所述第一相似度大于第二相似度的组数在所述第二样本组总组数中的占比超过预设占比时，将当前的文本相似度识别模型确定为预先训练好的文本相似度识别模型。

2.根据权利要求1所述的文本相似度识别模型的训练方法，其特征在于，所述通过文本相似度识别模型分别将每组所述第二样本组中的所述第一文本样本、所述第二文本样本、所述负文本样本用表示向量进行表示包括：

通过所述文本相似度识别模型中的嵌入层分别获得所述第一文本样本、所述第二文本样本、所述负文本样本的初始向量；

所述文本相似度识别模型中的双向长短记忆网络根据所述初始向量分别获得与所述第一文本样本对应的表示向量、所述第二文本样本对应的表示向量、所述负文本样本对应的表示向量。

3.根据权利要求1所述的文本相似度识别模型的训练方法，其特征在于，所述分别计算每个所述第一文本样本与LCQMC数据集中各个元素之间的字面相似度，将所述字面相似度达到预设阈值的所述元素作为第三文本样本包括：

获取所述第一文本样本中的各个分词、所述LCQMC数据集中所述元素的平均长度、所述LCQMC数据集中任一所述元素的长度；

根据所述各个分词、所述各个分词出现的频次、所述元素的平均长度、所述LCQMC数据集中任一所述元素的长度计算所述第一文本样本与LCQMC数据集中各个元素之间的字面相似度；

将所述字面相似度达到预设阈值的所述元素作为所述第三文本样本。

4.根据权利要求3所述的文本相似度识别模型的训练方法，其特征在于，所述根据所述各个分词、所述各个分词出现的频次、所述元素的平均长度、所述LCQMC数据集中任一所述元素的长度计算所述第一文本样本与LCQMC数据集中各个元素之间的字面相似度包括：

根据所述各个分词、所述各个分词出现的频次、所述元素的长度计算得到所述各个分词与所述元素之间的相关性得分；

根据所述相关性得分、所述元素的平均长度计算得到所述第一文本样本与LCQMC数据集中各个元素之间的字面相似度。

5.根据权利要求1所述的文本相似度识别模型的训练方法，其特征在于，所述预先训练好的文本相似度识别模型计算第一文本和第二文本之间的文本相似度的步骤包括：

通过所述预先训练好的文本相似度识别模型获取所述第一文本和所述第二文本；

通过文本相似度识别模型分别将所述第一文本和所述第二文本用文本表示向量进行表示；

根据所述文本表示向量计算每组所述第一文本和所述第二文本之间的文本相似度。