[发明专利]一种文本相似度确定方法、装置、设备及存储介质

说明书

本发明实施例提供了一种文本相似度确定方法、装置、设备及存储介质，其中，该方法包括；确定待分析文本；对待分析文本进行分句，得到待分析文本对应的多个句子；针对每个句子，将该句子输入至预先训练的神经网络模型，得到该句子对应的语义特征向量，其中，神经网络模型是根据多个第一训练样本以及多个第一训练样本分别对应的关联句子训练得到的；根据每个句子对应的语义特征向量，确定待分析文本对应的特定特征向量；计算待分析文本对应的特定特征向量之间的相似度，并将该相似度作为待分析文本之间的相似度。如此，能够提高文本相似度确定的准确度。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种文本相似度确定方法、装置、设备及存储介质。

背景技术

文本相似度用于评价文本之间的相似程度，被广泛应用于文本聚类分析、文本匹配及重复率检测等场景中。例如，可以被用于检测论文的抄袭等。

现有技术中，基于词语方法确定文本之间的相似度。具体地可以为：对待分析相似度的待分析文本进行分词；计算待分析文本之间相同词语的个数或者相同词语的概率等；然后通过相同词语的个数或者概率确定待分析文本之间的相似度，例如，两个文本中80％的词语相同，确定两个文本之间的相似度为0.8等等。

现有技术中，确定文本相似度时仅考虑词语之间是否相同，如此会导致确定的相似度的准确度较低。例如，待分析文本1中包括：“一只狗在追赶我”，待分析文本2中包括：“我在追赶一只狗”。按照目前已有的分词方式确定待分析文本1和待分析文本2的分词基本相同，则通过现有技术中基于词语确定文本之间的相似度的方式，得到的待分析文本1和待分析文本2的相似度会比较高。但实际上待分析文本1和待分析文本2是完全不同的，如此会导致确定的相似度的准确度较低。

发明内容

本发明实施例的目的在于提供一种文本相似度确定方法、装置、设备及存储介质，以提高文本相似度确定的准确度。具体技术方案如下：

第一方面，本发明实施例提供了一种文本相似度确定方法，包括：

确定待分析文本；

对所述待分析文本进行分句，得到所述待分析文本对应的多个句子；

针对每个句子，将该句子输入至预先训练的神经网络模型，得到该句子对应的语义特征向量，其中，所述神经网络模型是根据多个第一训练样本以及多个第一训练样本分别对应的关联句子训练得到的；

根据每个句子对应的所述语义特征向量，确定所述待分析文本对应的特定特征向量；

计算所述待分析文本对应的所述特定特征向量之间的相似度，并将该相似度作为所述待分析文本之间的相似度。

可选的，所述方法还包括：

确定表示所述待分析文本主题的主题特征向量；

所述根据每个句子对应的所述语义特征向量，确定所述待分析文本对应的特定特征向量，包括：

根据每个句子对应的所述语义特征向量，确定所述待分析文本对应的总语义特征向量；

将所述主题特征向量与所述总语义特征向量结合，将结合得到的特征向量作为所述特定特征向量。

可选的，所述根据每个句子对应的所述语义特征向量，确定所述待分析文本对应的特定特征向量，包括：

根据每个句子对应的所述语义特征向量，确定所述待分析文本对应的总语义特征向量；

将所述总语义特征向量作为所述特定特征向量。

可选的，预先训练神经网络模型包括：

获取多个训练文本中的多个句子作为第一训练样本；