[发明专利]一种利用语义信息计算文本相似度的方法

权利要求书

1.一种利用语义信息计算文本相似度的方法，其特征在于，该方法包括如下步骤：

将给定的第一文本S₁和第二文本S₂分别进行分词处理，得到对应于第一文本S₁的第一词序列W₁和对应于第二文本S₂的第二词序列W₂；

将所述第一词序列W₁中的每个词对应于skip-gram中训练好的词向量取出形成第一词向量序列V₁；

将所述第二词序列W₂中的每个词对应于skip-gram中训练好的词向量取出形成第二词向量序列V₂；

进一步计算第一文本S₁和第二文本S₂的关键词序列，得到第一关键词序列K₁和第二关键词序列K₂；

在第一词序列W₁和第二词序列W₂中可能存在未登录词，如果存在未登录词，则其生成随机的词向量，同时，第一文本和第二文本中相同的未登录词生成相同的词向量；

所述第一关键词序列K₁和第二关键词序列K₂分别表示为：

其中，t和T分别是第一文本和第二文本对应的关键词个数，分别表示第一关键词序列K₁中的第1至t个关键词，分别表示第二关键词序列K₂中的第1至T个关键词；

判定第一文本中的每个词是否属于第一关键词序列K₁，同时判定第二文本中的每个词是否属于第二关键词序列K₂：

如果第一文本和第二文本中的一个词分别属于第一关键词序列和第二关键词序列，则为该词赋予权重α；

如果第一文本和第二文本中的一个词不属于第一关键词序列和第二关键词序列，则为该词赋予权重β；

则对应的权重采用下式表达：

其中，l∈[1,2]，当l＝1时，i在1至n之间；当l＝2时，i在1至m之间；

将获得的第一词向量序列V₁与该第一词向量序列中每个词的权重进行词向量加权求和，得到第一文本的第一语义向量SV₁；

将获得的第二词向量序列V₂与该第二词向量序列中每个词的权重进行词向量加权求和，得到第二文本的第二语义向量SV₂；

利用所述第一语义向量SV₁和第二语义向量SV₂的夹角的余弦计算所述第一文本S₁和第二文本S₂的相似度。

2.根据权利要求1所述的方法，其特征在于：所述第一词序列W₁和第二词序列W₂分别表示为：

其中n和m分别是两个文本的单词数，分别表示第一词序列W₁中的第1至n个单词，分别表示第二词序列W₂中的第1至m个单词。

3.根据权利要求1-2中任一项所述的方法，其特征在于：第一词向量序列V₁和第二词向量序列V₂分别表示为：

其中，分别表示第一词向量序列V₁中的第1至n个词向量，分别表示第二词向量序列V₂中的第1至m个词向量。

4.根据权利要求3所述的方法，其特征在于：所述的第一语义向量和第二语义向量表示为：

5.根据权利要求4所述的方法，其特征在于：相似度Sim的计算方法为：

Sim＝Cos(SV₁·SV₂)

其中Cos(·)为表示计算余弦值。