[发明专利]一种基于词向量的句子相似度比较方法

说明书

本发明公开了一种基于词向量的句子相似度比较方法。本发明基于大型语料库训练得到词向量模型，并且通过斯坦福句法分析器将句子表示成句法成分树结构，然后在词向量模型中搜索句子成分树叶子节点所对应的词向量，这此基础上，我们提出了一种基于词向量的句子相似度比较方法，这种方法首先构建句子成分向量树，然后通过我们提出的soft partial tree kernel函数计算最终的句子相似度得分。实验结果表示，这种方法相对于目前性能表现很强的众多神经网络方法，在超过一半数据集上都取得了最好的效果，并且在平均性能上取得了最先进的效果。这说明了这种方法是一种很有效的句子相似度度量方式。

技术领域

本发明涉及一种基于词向量的句子相似度比较方法，属于自然语言处理技术领域。

背景技术

句子相似度比较是自然语言处理的一个基本任务，它广泛应用于很多领域，比如信息检索、机器翻译、文本分类等。只要是需要判断二个句子相似性的场景，都离不开句子相似度判断方法。相似度判断方法越准确，有利于提高各种需要用到此相似度方法的系统的性能。

句子相似度测量是自然语言处理中许多应用程序的核心，也是大多数文本相关任务的基础。句子相似度方法研究有很长的历史，有基于向量空间模型的方法，也有将句子通过神经网络嵌入成句子向量的方法，这一类方法最近取得了很大的成功，比如利用DNN(深度神经网络)，RNN(循环神经网络)，LSTM(长短期记忆网络)等。但是这种将句子表示成向量的做法忽略了句子本身存在的句法信息，会丢失句子的句法信息。

发明内容

本发明克服现有技术存在的不足，本发明公开了一种基于词向量的句子相似度比较方法。本发明基于大型语料库训练得到词向量模型，并且通过斯坦福句法分析器将句子表示成句法成分树结构，然后在词向量模型中搜索句子成分树叶子节点所对应的词向量，这此基础上，我们提出了一种基于词向量的句子相似度比较方法，这种方法首先构建句子成分向量树，然后通过我们提出的soft partial tree kernel 函数计算最终的句子相似度得分。实验结果表示，这种方法相对于目前性能表现很强的众多神经网络方法，在超过一半数据集上都取得了最好的效果，并且在平均性能上取得了最先进的效果。这说明了这种方法是一种很有效的句子相似度度量方式。这说明了这种方法是一种很有效的句子相似度度量方式。

为解决上述技术问题，本发明所采用的技术方案为：

一种基于词向量的句子相似度比较方法，包括如下步骤：

步骤一、训练得到词向量模型，所述词向量模型包含词和词的向量；

步骤二、对于待测试的句子对，分别生成句子的句法成分树结构，每个句子对应的句法成分树结构的叶子节点都为句中的词；

步骤三、基于句子的句子成分树结构，构建句子向量树结构；

步骤四、将句子向量树结构输入计算，即得到二个句子向量树结构的相似度得分；包括如下步骤：

4.1)对于步骤三中构建的两个句子向量树结构T₁，T₂，首先生成句子向量树结构的子树集F₁＝{N₁，N₂，…，N_i}，F₂＝{M₁，M₂，…，M_j}，其中N_i表示T₁生成的最后一个子树的根节点，i表示T₁生成子树的个数，M_j代表 T₂生成的最后一个子树的根节点，j代表T₂生成子树的个数；