[发明专利]一种搜索引擎中基于类中心压缩变换的文本聚类方法

摘要

本发明公开了一种搜索引擎中基于类中心压缩变换的文本聚类方法，该方法利用改进的tf-idf公式计算文本集中每个文档的词汇权重，计算初始类中心，挖掘同义词组和共现高频词组，计算词汇中心，依据初始类中心与各文档的相似度进行初次分类；根据标题词汇，文章长度，同义词，共现关联词等信息，压缩中心词汇，使得同一个词汇只出现在与其相似高的一些类中心里，利用新的聚类中心对文档集进行重新聚类。计算每个类的核心相似度，对最大的类进行分裂，对较小的类进行合并以产生新的类。对压缩，聚类，分裂操作进行迭代，直到类的个数收敛，且同一个类中的文本与类中心相似度到达一定阈值。本发明聚类精度明显高于传统的KMeans，DBSCAN等方法。

主权项

1.一种搜索引擎中基于类中心压缩变换的文本聚类方法，其特征在于：该方法包括以下步骤：步骤1、对聚类文本集中的每一个文本进行分词；步骤2、去除停用词，过滤影响因子较小的词；步骤3、计算每个文本中每个词出现的次数tf；步骤4、计算词语的反文本频率idf；步骤5、挖掘同义词组；步骤6、挖掘共现高频词组，即同时出现在多个不同文本中的词组对；步骤7、根据同义词组和高频共现词组，产生原始的类中心，每个类中心由一系列高频词汇组成，统计高频词汇的tf和idf，标记高频词汇所属的类中心；步骤8、计算每个文本的内容长度，提取文章的标题，对标题进行分词；如果没有标题，则标题title设为空；提取段首词语与段尾词汇并加以标记以便后面的加权计算；步骤9、计算任意两个文本之间的相似度，标题或内容中有相同或同义的词语时增加权重，段首词语与段尾词汇分别赋予不同的权重，计算公式如下：pureFileSim_(i，j)＝(contentSimilarity_(i，j)+titleSimilarity_(i，j))/(log(fileLength_i*fileLength_j))；contentSimilarity(i,j)=Σx,y(log(fileKeywodTf(i,x))+1)*fileKeywodIdf(i,x)*∂+(log(fileKeywodTf(j,y))+1)*fileKeywodIdf(j,y)*∂;]]>titleSimilarity(i,j)=Σx,y(fileTitleWordTf(i,x)*fileTitleWordIdf(i,x))*∂+(fileTitleWordTf(j,y)*fileTitleWordIdf(j,y))*∂;]]>式中：pureFileSim_(i,j)：文本i与文本j的纯相似度；contentSimilarity_(i,j)：文本i与文本j的内容相似度；titleSimilarity_(i,j)：文本i与文本j的标题相似度；fileKeywordTf_(x，i)：文本i中关键字x的tf；fileKeywordIdf_(x，i)：文本i中关键字x的idf；fileTitleWordTf_(j,y)：类中心j关键词y的tf；fileTitleWordIdf_(j,y)：类中心j关键词y的idf；fileLength_i：文本i的内容长度；步骤10、随机化文本的输入顺序：根据原始聚类中心对聚类文本集进行初始聚类，其算法如下：对每一篇文本，计算它与所有聚类中心的相似度，选择相似度最大的一个聚类中心id作为这个文本所属的类；文本i与类中心j的相似度计算公式如下：fileSim(i,j)=(ΣfileKeyword(i,x)∈centerj(log(fileKeywordIf(x,i))+1)*fileKeywordIdf(x,i)]]>+ΣfileTitleWord(i,x)∈centerj(log(centerKeywordTf(j,y))+1)*(centerKeywordIdf(j,y))/fileContentLengthi;]]>式中：fileKeywordTf_(x，i)：文本i中关键字x的tf；fileKeywordIdf_(x，i)：文本i中关键字x的idf；centerKeywordTf_(j，y)：类中心j关键词y的tf；centerKeywordIdf_(j，y)：类中心j关键词y的idf；fileContentLength_i：文本i的内容长度；同时计算与每个词汇最接近的类中心，记录下词汇的wordid；计算最相似的类中心比第二相似的类中心多出的百分比，记录到文本的diffRatio中；步骤11、剔除diffRatio小于10%的文本，在剩下的文本中对属于同一个类的文本集进行关键词提取和统计，利用这些词汇重新生成该类的中心；被选的词汇要求tf和idf都不小于某个阈值；更新词汇的中心id，对类中心进行压缩，让同一个词汇只出现在与其相似高的一些类中心里，合并相似度较高的类中心；步骤12、根据新的聚类中心重新计算每个文本所属的聚类中心，相似度计算同步骤9；步骤13、计算每个类的核心相似度，尝试对最大的类进行分裂以产生新的类，其分裂算法如下：计算该类中最活跃的文本fx，即其它文本最相似文本中文本fx出现的次数最高，且相似值较大，在类中计算与文本fx相似度最低的文本fy，以fx及与fx最相似的文本集建立新的类中心ctx，以fy及与fy最相似的文本集建立新的类中心cty，对该类中剩下的文本计算其与ctx，cty的相似度，将它们分别并入两者之一；步骤14、在步骤11的基础上对与类中心相似度较小的文本，根据其大多数词汇的中心id并入属于该id的类；步骤15.重复步骤10-14，直到类的个数收敛，且同一个类中的文本与类中心相似度到达一定阈值，则终止。