[发明专利]一种基于同义词典的短文本相似度匹配方法及系统

权利要求书

1.一种基于同义词典的短文本相似度匹配方法，其特征在于，包括以下步骤：

a.对待处理的短文本进行分词处理，并对分词结果进行词频统计；

b.对于词频大于预设的词频阈值的分词结果，则利用词语语义相似度，对词语语义相似度大于预设的相似度阈值的分词结果进行构建第一同义词典；

c.对于词频小于或等于预设的词频阈值的分词结果，则利用字符串相似度，对字符串相似度高于预设的相似度阈值的分词结果进行构建第二同义词典，并对所述第一同义词典和所述第二同义词典进行聚类处理，得到所述短文本的完整同义词典；或者，直接将字符串相似度高于预设的相似度阈值的分词结果存放到所述第一同义词典中的对应位置，得到更新的第一同义词典，即得到所述短文本的完整同义词典；

d.根据RWMD算法进行计算第一短文本的完整同义词典和第二短文本的完整同义词典之间的欧式距离，得到第一短文本与第二短文本的相似度；或者，根据RWMS算法进行计算第一短文本的完整同义词典和第二短文本的完整同义词典之间的余弦相似度，得到第一短文本与第二短文本的相似度。

2.根据权利要求1所述的一种基于同义词典的短文本相似度匹配方法，其特征在于：所述步骤a中，是指通过结巴分词工具对所述短文本进行分词处理，并去除停用词，得到分词结果；并利用Python工具对所述分词结果进行词频统计，得到每个分词结果对应的词频。

3.根据权利要求1所述的一种基于同义词典的短文本相似度匹配方法，其特征在于：所述步骤b中，对于词频大于预设的词频阈值的分词结果，采用word2vec算法进行学习每个分词结果的词向量，并根据所述词向量进行计算各个分词结果之间的词语语义相似度，对词语语义相似度大于预设的相似度阈值的分词结果进行构建第一同义词典。

4.根据权利要求1所述的一种基于同义词典的短文本相似度匹配方法，其特征在于：所述步骤c中，对于词频小于或等于预设的词频阈值的分词结果，利用编辑距离进行计算各个分词结果之间的字符串相似度，并根据所述字符串相似度对所述分词结果进行聚类处理。

5.根据权利要求4所述的一种基于同义词典的短文本相似度匹配方法，其特征在于：所述的步骤c中，对于词频小于或等于预设的词频阈值的分词结果，所述聚类处理是以所述分词结果中的任一个为类中心，计算其他分词结果与所述类中心之间的编辑距离，进而得到其他分词结果与所述类中心之间的字符串相似度；以此类推进行遍历所述分词结果，并对字符串相似度高于预设的相似度阈值的分词结果进行构建第二同义词典。

6.根据权利要求4所述的一种基于同义词典的短文本相似度匹配方法，其特征在于：所述的步骤c中，对于词频小于或等于预设的词频阈值的分词结果，所述聚类处理是以所述第一同义词典中的任一个类别为类中心，计算所述分词结果与所述类中心之间的编辑距离，进而得到所述分词结果与所述类中心之间的字符串相似度；以此类推进行遍历所述分词结果，并直接将字符串相似度高于预设的相似度阈值的分词结果存放到所述第一同义词典中的对应类别位置，得到更新的第一同义词典。

7.根据权利要求1所述的一种基于同义词典的短文本相似度匹配方法，其特征在于：所述步骤b中，对词语语义相似度大于预设的相似度阈值的分词结果进行构建第一同义词典；所述步骤c中，对字符串相似度高于预设的相似度阈值的分词结果进行构建第二同义词典，或者，直接将字符串相似度高于预设的相似度阈值的分词结果存放到所述第一同义词典中的对应位置；是利用机器学习库gensim进行查找前n个大于预设的相似度阈值的分词结果及其对应的词语语义相似度或字符串相似度。

8.一种基于同义词典的短文本相似度匹配系统，其特征在于，包括：

文本预处理模块，用于对待处理的短文本进行分词处理，并对分词结果进行词频统计；

高频词的同义词典构建模块，其对于词频大于预设的词频阈值的分词结果，则利用词语语义相似度，对词语语义相似度大于预设的相似度阈值的分词结果进行构建第一同义词典；

低频词的同义词典构建模块，其对于词频小于或等于预设的词频阈值的分词结果，则利用字符串相似度，对字符串相似度高于预设的相似度阈值的分词结果进行构建第二同义词典，并对所述第一同义词典和所述第二同义词典进行聚类处理，得到所述短文本的完整同义词典；或者，直接将字符串相似度高于预设的相似度阈值的分词结果存放到所述第一同义词典中的对应位置，得到更新的第一同义词典，即得到所述短文本的完整同义词典；

同义词典的相似度计算模块，其根据RWMD算法进行计算第一短文本的完整同义词典和第二短文本的完整同义词典之间的欧式距离，得到第一短文本与第二短文本的相似度；或者，根据RWMS算法进行计算第一短文本的完整同义词典和第二短文本的完整同义词典之间的余弦相似度，得到第一短文本与第二短文本的相似度。