[发明专利]一种基于同义关联词的文本对比方法

权利要求书

1.一种基于同义关联词的文本对比方法，其特征在于：所述方法的具体步骤如下：

Step1、对文章进行预处理；预处理包括：分词，去停用词，分别使用分词包，停用词库进行分词和去停用词；

Step2、选取文章主题词的同义词及同义词的相关词进行权重加权和调整，之后选出文章的特征词；

Step2.1、根据相似度查找文章主题词的同义词；

Step2.2、同义词加权；

Step2.3、同义词的相关词的权重加权和调整；

Step2.4、计算完所有词语的权重后，找出权重最大的前N个词语作为文本的特征词；其中30≤N≤50；

Step3、根据选出的特征词计算其Simhash值来作为被查文章的Simhash值；

Step4、重复以上步骤，计算对比文章Simhash值，然后计算两者的汉明距离，当两篇文档的汉明距离小于20，说明这两篇文章相似度很高，否则认为两篇文章的相似度不高。

2.根据权利要求1所述的基于同义关联词的文本对比方法，其特征在于：所述步骤Step2.1中，文章主题词的同义词的查找通过《同义词词林》再结合相似度进行查找，采用相似度计算公式计算2个词语的相似度，表示为：

其中，Sim_j(S₁,S₂)为2个概念的义原描述式，β_i是可调参数，而且有β₁+β₂+β₃+β₄＝1，β₁≥β₂≥β₃≥β₄；

同义词集合指词语t和与t在文本中有同义关系的所有词语的集合，用S＝{S₁,S₂,S₃,...,S_m}表示。

3.根据权利要求2所述的基于同义关联词的文本对比方法，其特征在于：所述步骤Step2.2中，同义词加权的方式为：同义词集合中权重最大的词作为标准词，其他的词语根据词语相似度来对标准词进行加权，给出了一个值β，0.6≤β＜1只有相似度大于β的才被认为是能给标准词加权的同义词，同义词加权分3种情况：

1)词语t_i没有同义词则w_i不变；2)t_i的同义词在V中，计算t_i与其同义词之间的相似度Sim并与β比较,若Sim＞β，则给t_i加权并删除t_i的同义词，若Sim＜β,则不认为它是同义词，寻找下一个同义词；3)t_i的同义词没有在V中，计算t_i与其同义词之间的相似度Sim并与β比较，若Sim＞β，则给t_i加权，若Sim＜β，寻找下一个同义词，若t_i有同义词t_j，则t_i加权公式为：其中，V为同义词集合，w_i为第i词对应的权重值。

4.根据权利要求1所述的基于同义关联词的文本对比方法，其特征在于：

所述步骤Step2.3中，文章主题词同义词的相关词也是通过《同义词词林》查找出来的，文章主题词同义词的相关词的权重加权和调整，是通过两个词出现在同一句子频对相关词权重加权和调整，表示为：

其中,p_ij表示词语t_i与词语t_j的在同一个句子出现概率，词语t_j在文本出现的次数为m_j，词语t_i在文本出现的次数为m_i，词语t_i与t_j之间的在同一个句子出现频率m_ij，m_ij＝m_ji，m_ii＝m_i，同义词集合中多个词语出现在同一个句子中的加权方式为：

其中p_s为与同义词集合中的多个词具有在同一个句子出现的概率；

对同义词集合中的词语及其相关词进行权重调整，同义词集合中的词语修正方式为：

同义词的相关词修正方式为：其中w_i为第i词对应的权重值。