[发明专利]一种搜索引擎中基于类中心压缩变换的文本聚类方法

权利要求书

1.一种搜索引擎中基于类中心压缩变换的文本聚类方法，其特征在于：该方法包括以下步骤：

步骤1、对聚类文本集中的每一个文本进行分词；

步骤2、去除停用词，过滤影响因子较小的词；

步骤3、计算每个文本中每个词出现的次数tf；

步骤4、计算词语的反文本频率idf；

步骤5、挖掘同义词组；

步骤6、挖掘共现高频词组，即同时出现在多个不同文本中的词组对；

步骤7、根据同义词组和高频共现词组，产生原始的类中心，每个类中心由一系列高频词汇组成，统计高频词汇的tf和idf，标记高频词汇所属的类中心；

步骤8、计算每个文本的内容长度，提取文章的标题，对标题进行分词；如果没有标题，则标题title设为空；提取段首词语与段尾词汇并加以标记以便后面的加权计算；

步骤9、计算任意两个文本之间的相似度，标题或内容中有相同或同义的词语时增加权重，段首词语与段尾词汇分别赋予不同的权重，计算公式如下：pureFileSim_(i，j)＝(contentSimilarity_(i，j)+titleSimilarity_(i，j))/(log(fileLength_i*fileLength_j))；

contentSimilarity(i,j)=Σx,y(log(fileKeywodTf(i,x))+1)*fileKeywodIdf(i,x)*∂+(log(fileKeywodTf(j,y))+1)*fileKeywodIdf(j,y)*∂;]]>

titleSimilarity(i,j)=Σx,y(fileTitleWordTf(i,x)*fileTitleWordIdf(i,x))*∂+(fileTitleWordTf(j,y)*fileTitleWordIdf(j,y))*∂;]]>

式中：pureFileSim_(i,j)：文本i与文本j的纯相似度；

contentSimilarity_(i,j)：文本i与文本j的内容相似度；

titleSimilarity_(i,j)：文本i与文本j的标题相似度；

fileKeywordTf_(x，i)：文本i中关键字x的tf；

fileKeywordIdf_(x，i)：文本i中关键字x的idf；

fileTitleWordTf_(j,y)：类中心j关键词y的tf；

fileTitleWordIdf_(j,y)：类中心j关键词y的idf；

fileLength_i：文本i的内容长度；

步骤10、随机化文本的输入顺序：根据原始聚类中心对聚类文本集进行初始聚类，其算法如下：对每一篇文本，计算它与所有聚类中心的相似度，选择相似度最大的一个聚类中心id作为这个文本所属的类；文本i与类中心j的相似度计算公式如下：

fileSim(i,j)=(ΣfileKeyword(i,x)∈centerj(log(fileKeywordIf(x,i))+1)*fileKeywordIdf(x,i)]]>

+ΣfileTitleWord(i,x)∈centerj(log(centerKeywordTf(j,y))+1)*(centerKeywordIdf(j,y))/fileContentLengthi;]]>

式中：

fileKeywordTf_(x，i)：文本i中关键字x的tf；

fileKeywordIdf_(x，i)：文本i中关键字x的idf；

centerKeywordTf_(j，y)：类中心j关键词y的tf；

centerKeywordIdf_(j，y)：类中心j关键词y的idf；

fileContentLength_i：文本i的内容长度；

同时计算与每个词汇最接近的类中心，记录下词汇的wordid；

计算最相似的类中心比第二相似的类中心多出的百分比，记录到文本的diffRatio中；

步骤11、剔除diffRatio小于10%的文本，在剩下的文本中对属于同一个类的文本集进行关键词提取和统计，利用这些词汇重新生成该类的中心；被选的词汇要求tf和idf都不小于某个阈值；更新词汇的中心id，对类中心进行压缩，让同一个词汇只出现在与其相似高的一些类中心里，合并相似度较高的类中心；

步骤12、根据新的聚类中心重新计算每个文本所属的聚类中心，相似度计算同步骤9；

步骤13、计算每个类的核心相似度，尝试对最大的类进行分裂以产生新的类，其分裂算法如下：计算该类中最活跃的文本fx，即其它文本最相似文本中文本fx出现的次数最高，且相似值较大，在类中计算与文本fx相似度最低的文本fy，以fx及与fx最相似的文本集建立新的类中心ctx，以fy及与fy最相似的文本集建立新的类中心cty，对该类中剩下的文本计算其与ctx，cty的相似度，将它们分别并入两者之一；

步骤14、在步骤11的基础上对与类中心相似度较小的文本，根据其大多数词汇的中心id并入属于该id的类；

步骤15.重复步骤10-14，直到类的个数收敛，且同一个类中的文本与类中心相似度到达一定阈值，则终止。