[发明专利]一种利用语义信息计算文本相似度的方法

摘要

本发明提供了一种利用语义信息计算文本相似度的方法，具体而言，该方法包括：将给定的文本进行分词处理得到对应的词序列，然后将上述词序列中的每个单词对应于训练好的词向量取出形成词向量序列，进一步确定给定文本中词序列的关键词，形成关键词序列；判定所述文本中的词是否属于关键词序列并分别赋予不同的权重；在获取了词向量和对应权重的基础上，将句子的词向量与权重值进行加权求和得到语义向量序列，最后利用文本间的语义向量的夹角余弦表示不同文本的相似度。该方法充分考虑了文本中每个词在文本相似度计算中的作用，强调每个词对相似度的贡献的区别，从语义的角度重新定义了求不同文本相似度的方法。

主权项

1.一种利用语义信息计算文本相似度的方法，其特征在于，该方法包括如下步骤：将给定的第一文本S1和第二文本S2分别进行分词处理，得到对应于第一文本S1的第一词序列W1和对应于第二文本S2的第二词序列W2；将所述第一词序列W1中的每个词对应于skip‑gram中训练好的词向量取出形成第一词向量序列V1；将所述第二词序列W2中的每个词对应于skip‑gram中训练好的词向量取出形成第二词向量序列V2；进一步计算第一文本S1和第二文本S2的关键词序列，得到第一关键词序列K1和第二关键词序列K2；判断第一词序列W1中的每个词是否属于第一关键词序列K1和第二词序列W2中的每个词是否属于第二关键词序列K2，按照属于和不属于，赋予不同的权重；将获得的第一词向量序列V1与该第一词向量序列中每个词的权重进行词向量加权求和，得到第一文本的第一语义向量SV1；将获得的第二词向量序列V2与该第二词向量序列中每个词的权重进行词向量加权求和，得到第二文本的第二语义向量SV2；利用所述第一语义向量SV1和第二语义向量SV2的夹角的余弦计算所述第一文本S1和第二文本S2的相似度。