[发明专利]文本相似度计算方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种文本相似度计算方法、装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取待计算的原始文本；利用预先训练的文本分词模型对原始文本进行分词处理，得到多个文本词段；利用预先训练的目标词库模型对每一文本词段进行位置识别，得到每一文本词段的目标位置；根据目标位置对每一文本词段进行编码处理，得到文本词段向量；将文本词段向量输入至预先训练的对比模型中，以使文本词段向量与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到目标词嵌入向量；对多个目标词嵌入向量进行相似度计算，得到每两个文本词段之间的相似度值。本申请实施例能够更为准确地计算文本词段之间的相关性。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种文本相似度计算方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，许多业务需要使用计算机技术进行自然语言处理，例如搜索引擎、智能服务等。在进行自然语言处理时，通常会进行文本相似度的计算。而目前的计算方式往往计算准确性不高。因此，如何提供一种计算方法，提高文本相似度计算的准确性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种文本相似度计算方法、装置、电子设备及存储介质，旨在提高文本相似度计算的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种文本相似度计算方法，所述方法包括：

获取待计算的原始文本；

利用预先训练的文本分词模型对所述原始文本进行分词处理，得到多个文本词段；

利用预先训练的目标词库模型对每一所述文本词段进行位置识别，得到每一所述文本词段的目标位置；

根据所述目标位置对每一所述文本词段进行编码处理，得到文本词段向量；

将所述文本词段向量输入至预先训练的对比模型中，以使所述文本词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到目标词嵌入向量；

对多个所述目标词嵌入向量进行相似度计算，得到每两个文本词段之间的相似度值。

在一些实施例，所述利用预先训练的目标词库模型对每一所述文本词段进行位置识别，得到每一所述文本词段的目标位置的步骤，包括：

利用所述目标词库模型中的预设函数对每一文本词段进行元素提取，得到每一文本词段的元素值；

根据所述元素值对所述文本词段进行位置识别，得到所述文本词段的目标位置。

在一些实施例，在利用预先训练的目标词库模型对每一所述文本词段进行位置识别，得到每一所述文本词段的目标位置的步骤之前，所述方法还包括预先训练所述目标词库模型，具体包括：

获取参考文本数据；

利用初始分词模型对所述参考文本数据进行分词处理，得到参考词段数据；

根据预设比例将所述参考词段数据划分为训练集、测试集和验证集；

利用所述训练集对所述初始模型进行训练，得到当前词库模型；

利用所述测试集和所述验证集对当前词库模型进行验证，得到所述目标词库模型。

在一些实施例，所述根据所述目标位置对每一所述文本词段进行编码处理，得到文本词段向量的步骤，包括：

根据所述目标位置，对每一文本词段进行归一化处理，得到标准词段；

对所述标准词段进行独热编码，得到文本词段向量。

在一些实施例，所述将所述文本词段向量输入至预先训练的对比模型中，以使所述文本词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到目标词嵌入向量的步骤，包括：