[发明专利]一种基于同义关联词的文本对比方法

摘要

本发明涉及一种基于同义关联词的文本对比方法，属于自然语言处理技术领域。本发明本发明对Simhash算法中TF‑IDF算法进行了改进，首先，对文章预处理，去除文章中无意义的词，留下实义词；然后，抽取与文章主题相关的同义词，及同义词的相关词进行权重的加权和调整，再将以上词进行权重排序后，选取关键字权重最大的前N个词作为文本的特征词，计算文章的Simhash值；最后，重复以上步骤，计算对比文章的特征词Simhash值，从两者之间的汉明距离，判断两篇文章的是否相似。本发明主要解决Simhash算法文本查重效果慢，准确率低等问题，大大提高了文本查重的效率和计算准确性。

主权项

一种基于同义关联词的文本对比方法，其特征在于：所述方法的具体步骤如下：Step1、对文章进行预处理；预处理包括：分词，去停用词，分别使用分词包，停用词库进行分词和去停用词；Step2、选取文章主题词的同义词及同义词的相关词进行权重加权和调整，之后选出文章的特征词；Step2.1、根据相似度查找文章主题词的同义词；Step2.2、同义词加权；Step2.3、同义词的相关词的权重加权和调整；Step2.4、计算完所有词语的权重后，找出权重最大的前N个词语作为文本的特征词；其中30≤N≤50；Step3、根据选出的特征词计算其Simhash值来作为被查文章的Simhash值；Step4、重复以上步骤，计算对比文章Simhash值，然后计算两者的汉明距离，当两篇文档的汉明距离小于20，说明这两篇文章相似度很高，否则认为两篇文章的相似度不高。