[发明专利]一种确定文本相似度的方法和装置

说明书

本发明公开了一种确定文本相似度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；计算所述第一训练文本和所述第二训练文本的字符相似度；根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型；根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。该实施方式能够提高相似度计算的准确性和可靠性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种确定文本相似度的方法和装置。

背景技术

在电商平台中，有的商家为了提高搜索排名，会调整前台展示的内容。例如，前台展示的是一台电脑，后台入库的是一个鼠标垫。为了及时发现商家的上述行为，需要识别前台展示的内容与后台入库的内容是否一致，而是否一致需要基于文本相似度确定。

现有技术以两个文本的字符相似度作为文本相似度。

但是，现有技术仅考虑文本字符层面的相似度，无法考虑文本语义层面的相似度，得到的相似度准确性较低。

发明内容

有鉴于此，本发明实施例提供一种确定文本相似度的方法和装置，能够提高相似度计算的准确性和可靠性。

第一方面，本发明实施例提供了一种确定文本相似度的方法，包括：

分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；

按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；

计算所述第一训练文本和所述第二训练文本的字符相似度；

根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型；

根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。

可选地，

根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型，包括：

分别对所述第一词、所述第二词、所述第一字、所述第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量；

根据所述字符相似度，确定第一隐层向量；

将所述第一词向量、所述第二词向量、所述第一字向量、所述第二字向量和所述第一隐层向量输入所述预测模型，得到所述第一训练文本和所述第二训练文本的综合相似度；

根据所述综合相似度和所述标签，调整所述预测模型的参数。

可选地，

对所述第一字进行编码，得到所述第一字向量，包括：

确定所述第一字的字符编码；

根据所述第一字在所述第一训练文本中的位置，确定所述第一字的位置编码；

拼接所述字符编码和所述位置编码，得到所述第一字向量。

可选地，

将所述第一词向量、所述第二词向量、所述第一字向量、所述第二字向量和所述第一隐层向量输入所述预测模型，得到所述第一训练文本和所述第二训练文本的综合相似度，包括：

分别将所述第一词向量和所述第二词向量输入分类网络，得到第一词特征向量和第二词特征向量；