[发明专利]一种基于SimHash改进的Kmeans文档聚类方法

摘要

本发明公开了一种基于SimHash改进的Kmeans聚类方法，本方法为：1)使用SimHash算法计算每一待聚类文档的指纹，生成一SimHash表；2)选取一待聚类文档，根据该文档的指纹查找该SimHash表，得到一相似文档集合S0；3)将S0中与该待聚类文档的Overlap值将大于阈值α的文档加入相似文档集合S1；4)返回S1所属的聚类簇集合C0，计算该待聚类文档到C0中所有簇质心的距离，然后将该文档归入距离最近且小于设定阈值的簇i并更新簇质心表，否则新建一簇k，将该文档作为该簇k中的第一个元素；若C0为空，则新建一个簇j，将该待聚类文档作为该簇j中的第一个元素。本发明大大提高了聚类效果。

主权项

1.一种基于SimHash改进的Kmeans文档聚类方法，其步骤为：1)首先使用分句对每一待聚类文档进行切分，采用句子作为待聚类文档的最小单元；然后使用SimHash算法计算每一待聚类文档的指纹，生成一SimHash表；2)选取一待聚类文档，计算该待聚类文档所属的聚类簇并将其记录到该SimHash表中；根据该待聚类文档的指纹查找该SimHash表，得到与该待聚类文档相似的文档集合S0；3)计算该文档集合S0中的每一文档与该待聚类文档的相似度值；将与该待聚类文档的相似度值大于阈值α的文档加入相似文档集合S1；4)返回该相似文档集合S1所属的聚类簇集合C0，计算该待聚类文档到该聚类簇集合C0中所有簇的簇质心的距离，然后将该待聚类文档归入距离最近且距离小于设定阈值的簇i并更新该簇i的簇质心表，如果该待聚类文档与该聚类簇集合C0中所有簇的簇质心的距离均不小于该设定阈值，则新建一个簇k，将该待聚类文档作为该簇k中的第一个元素；若该聚类簇集合C0为空，则新建一个簇j，将该待聚类文档作为该簇j中的第一个元素；其中，更新簇i的簇质心表的方法为：将新加入的该待聚类文档中的句子加入该簇i的句子频率表中，选择句子频率大于阈值β的句子集合作为该簇i新的质心。