[发明专利]语义相似度的计算方法及系统

权利要求书

1.一种语义相似度的计算方法，其特征在于，包括：

获取第一文本和第二文本；

对所述第一文本和第二文本进行分词处理；

确定用于进行语义相似度判断的语境，根据所述用于进行语义相似度判断的语境收集样本文本并构成样本文本集；

对所述各样本文本进行分词处理，根据所述样本文本集的分词结果建立语境图；

根据所述第一文本的分词结果、第二文本的分词结果以及所述语境图，计算所述第一文本和第二文本的语义相似度；

其中，所述用于进行语义相似度判断的语境具体为：根据所述第一文本的分词结果确定的第一文本的语境、根据所述第二文本的分词结果确定的第二文本的语境，或者由所述第一文本的语境和第二文本的语境结合而成；

所述语境图为表示样本文本集中各分词间组合关系的无向图；

其中，所述根据所述第一文本的分词结果、第二文本的分词结果以及所述语境图，计算所述第一文本和第二文本的语义相似度，具体为：

根据所述语境图计算所述第一文本和第二文本的余弦相似度；

根据所述语境图获得所述第一文本的任意一个分词和第二文本的任意一个分词的相似度，以计算所述第一文本和第二文本的偏移量相似度；

根据所述语境图获得所述第一文本中不存在于所述第二文本的所有分词的语境词集，以及所述第二文本中不存在于所述第一文本的所有分词的语境词集，以计算所述第一文本和第二文本的语义层相似度；

根据所述第一文本和第二文本的余弦相似度、偏移量相似度以及语义层相似度，计算所述第一文本和第二文本的语义相似度。

2.根据权利要求1所述的计算方法，其特征在于，所述根据所述语境图获得所述第一文本的任意一个分词和第二文本的任意一个分词的相似度，以计算所述第一文本和第二文本的偏移量相似度，具体为：

根据所述第一文本p₁的分词结果，获得所述第一文本中分词总数m、第一文本的长度len(P₁)以及分词S_i在第一文本中的相对位置pos(S_i)；

根据所述第二文本p₂的分词结果，获得所述第二文本中分词总数n、第二文本的长度len(P₂)以及分词W_j在第二文本中的相对位置pos(W_j)；

根据所述语境图计算分词S_i和分词W_j的相似度sim(S_i，W_j)；

根据公式计算第一文本p₁和第二文本p₂的偏移量相似度Sim_p(p₁，p₂)。

3.根据权利要求2所述的计算方法，其特征在于，所述根据所述语境图计算分词S_i和分词W_j的相似度sim(S_i，W_j)，具体为：

在所述语境图上获取分词S_i的邻接点π(S_i)和度len(π(S_i))；

在所述语境图上获取分词W_j的邻接点π(W_j)和度len(π(W_j))；

根据公式计算相似度sim(S_i，W_j)；

其中，T(π(S_i)∩π(W_j))表示分词S_i和分词W_j共有的邻接点。