[发明专利]一种基于同义关联词的文本对比方法

说明书

技术领域

本发明涉及一种基于同义关联词的文本对比方法，属于自然语言处理技术领域。

背景技术

在数据挖掘及知识信息发现领域，大量数据的喷涌带来的一大挑战就是信息的大量重复，在国内，据统计有30％重复网页，而重复信息太多是造成了检索困难的主要问题之一。simhash算法专门解决亿万级网页去重问题，当然在文本去重方面应用也非常广泛，不过相比网页去重更加复杂，因为中文句式结构特殊且一词多义。此算法主要的核心思想就是降维，将高维的特征向量映射到低维的特征向量，通过计算两个向量的汉明距离判断两文档相似或重复程度。在信息论中，两个等长字符串之间的汉明距离是两字符串之间对应位置数字不同的个数。比如，1000110和1000001的汉明距离为3。基于以上所述，可以推广到文本特征值进行查重，而且是基于反映主题同义词及相关词权重进行加权，选取权重最大的前N个词作为特征词计算进行查重。

发明内容

本发明提供了一种基于同义关联词的文本对比方法，以用于Simhash算法文本查重效果慢，准确率低等问题，本发明大大提高了文本查重的效率和计算准确性。

本发明的技术方案是：一种基于同义关联词的文本对比方法，所述方法的具体步骤如下：

Step1、对文章进行预处理；预处理包括：分词，去停用词，分别使用分词包，停用词库进行分词和去停用词；

Step2、选取文章主题词的同义词及同义词的相关词进行权重加权和调整，之后选出文章的特征词；

Step2.1、根据相似度查找文章主题词的同义词；

Step2.2、同义词加权；

Step2.3、同义词的相关词的权重加权和调整；

Step2.4、计算完所有词语的权重后，找出权重最大的前N个词语作为文本的特征词；其中30≤N≤50；

Step3、根据选出的特征词计算其Simhash值来作为被查文章的Simhash值；

Step4、重复以上步骤，计算对比文章Simhash值，然后计算两者的汉明距离，当两篇文档的汉明距离小于20，说明这两篇文章相似度很高，否则认为两篇文章的相似度不高。

所述步骤Step2.1中，文章主题词的同义词的查找通过《同义词词林》再结合相似度进行查找，采用相似度计算公式计算2个词语的相似度，表示为：其中，Sim_j(S₁,S₂)为2个概念的义原描述式，β_i是可调参数，而且有β₁+β₂+β₃+β₄＝1，β₁≥β₂≥β₃≥β₄；

同义词集合指词语t和与t在文本中有同义关系的所有词语的集合，用S＝{S₁,S₂,S₃,...,S_m}表示。

所述步骤Step2.2中，同义词加权的方式为：同义词集合中权重最大的词作为标准词，其他的词语根据词语相似度来对标准词进行加权，给出了一个值β，0.6≤β＜1只有相似度大于β的才被认为是能给标准词加权的同义词，同义词加权分3种情况：

1)词语t_i没有同义词则w_i不变；2)t_i的同义词在V中，计算t_i与其同义词之间的相似度Sim并与β比较,若Sim＞β，则给t_i加权并删除t_i的同义词，若Sim＜β,则不认为它是同义词，寻找下一个同义词；3)t_i的同义词没有在V中，计算t_i与其同义词之间的相似度Sim并与β比较，若Sim＞β，则给t_i加权，若Sim＜β，寻找下一个同义词，若t_i有同义词t_j，则t_i加权公式为：w_i^*＝w_i+w_j*Sim(t_i,t_j)，其中，V为同义词集合，w_i为第i词对应的权重值。