[发明专利]文本相似度计算方法、装置、电子设备及存储介质

权利要求书

1.一种文本相似度计算方法，其特征在于，所述方法包括：

获取待计算的原始文本；

利用预先训练的文本分词模型对所述原始文本进行分词处理，得到多个文本词段；

利用预先训练的目标词库模型对每一所述文本词段进行位置识别，得到每一所述文本词段的目标位置；

根据所述目标位置对每一所述文本词段进行编码处理，得到文本词段向量；

将所述文本词段向量输入至预先训练的对比模型中，以使所述文本词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到目标词嵌入向量；

对多个所述目标词嵌入向量进行相似度计算，得到每两个文本词段之间的相似度值。

2.根据权利要求1所述的文本相似度计算方法，其特征在于，所述利用预先训练的目标词库模型对每一所述文本词段进行位置识别，得到每一所述文本词段的目标位置的步骤，包括：

利用所述目标词库模型中的预设函数对每一文本词段进行元素提取，得到每一文本词段的元素值；

根据所述元素值对所述文本词段进行位置识别，得到所述文本词段的目标位置。

3.根据权利要求1所述的文本相似度计算方法，其特征在于，在利用预先训练的目标词库模型对每一所述文本词段进行位置识别，得到每一所述文本词段的目标位置的步骤之前，所述方法还包括预先训练所述目标词库模型，具体包括：

获取参考文本数据；

利用初始分词模型对所述参考文本数据进行分词处理，得到参考词段数据；

根据预设比例将所述参考词段数据划分为训练集、测试集和验证集；

利用所述训练集对所述初始模型进行训练，得到当前词库模型；

利用所述测试集和所述验证集对当前词库模型进行验证，得到所述目标词库模型。

4.根据权利要求1所述的文本相似度计算方法，其特征在于，所述根据所述目标位置对每一所述文本词段进行编码处理，得到文本词段向量的步骤，包括：

根据所述目标位置，对每一文本词段进行归一化处理，得到标准词段；

对所述标准词段进行独热编码，得到文本词段向量。

5.根据权利要求1所述的文本相似度计算方法，其特征在于，所述将所述文本词段向量输入至预先训练的对比模型中，以使所述文本词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到目标词嵌入向量的步骤，包括：

将文本词段向量输入到所述对比模型中，以使所述文本词段向量与参考词嵌入矩阵进行矩阵相乘，得到多个基本词嵌入向量；

对所述基本词嵌入向量进行映射处理，得到目标词嵌入向量。

6.根据权利要求1所述的文本相似度计算方法，其特征在于，在将所述文本词段向量输入至预先训练的对比模型中，以使所述文本词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到目标词嵌入向量的步骤之前，所述方法还包括训练对比模型，具体包括：

获取样本数据；

对所述样本数据进行数据增强处理，得到正例对；

将所述正例对输入到所述对比学习模型；

通过所述对比学习模型的损失函数计算出所述正例对的第一相似度和负例对的第二相似度；

根据所述第一相似度和所述第二相似度对所述对比学习模型的损失函数进行优化，以更新所述对比学习模型。

7.根据权利要求1至6任一项所述的文本相似度计算方法，其特征在于，所述对多个所述目标词嵌入向量进行相似度计算，得到每两个文本词段之间的相似度值的步骤，包括：

利用余弦相似度算法对多个目标词嵌入向量进行相似度计算，得到每两个文本词段之间的相似度值。