[发明专利]大规模文本数据的外部聚类方法及系统

权利要求书

1、一种大规模文本数据的外部聚类方法及系统，其特征在于：方法的主要步骤包括：对输入文本集的预处理，生成文本集的倒排索引和特征向量；采用检索技术检索每一文档的候选关系集合；利用关系计算方法对有候选关系的文档进行关系计算；排序输出大于一定阈值的计算结果；聚类算法再依照排序结果，反复迭代合并具有第一直接关系的文本对，最终达到对文本集合的聚类输出。

2、根据权利要求1所述的大规模文本数据的外部聚类方法设计的聚类系统，包括一候选分析器、关系生成器、关系选取和聚类部件，其特征在于：聚类的基本过程，首先每个样本点都作为一个簇，通过检索技术为每个样本挑选出候选的具有联系的候选点集合，而后利用关系生成器计算样本与候选关系样本间的关系，并按递增/递减顺序输出到外部存储空间，然后在关系选取和聚类部件的控制下在外部存储中反复地对样本关系文件进行删除合并，直到关系文件为空。

3、根据权利要求1所述的大规模文本数据的外部聚类方法及系统，其特征在于：基于文本检索技术的样本关系候选计算方法，该方法通过对描述数据的特征建立倒排索引，然后对于每一样本都检索出与其有共同特征的样本作为候选样本集合；聚类是一种消耗大量存储器和处理器资源的方法，因为每个样本必须和其它样本进行逐一比较，以便识别出样本间的类别关系；利用高效的倒排检索技术可以最大程度地减少样本关系计算中所占用的存储器和处理器资源；这种过滤的过程可被称为筛选，一些传统聚类方法都有利用筛选，但是本发明中基于检索技术的筛选尤其有效。

4、根据权利要求1和3所述的大规模文本数据的外部聚类方法及系统，其特征在于：当所有样本计算出候选关系序列后，便需要计算样本与样本间的关系，这里称之为距离或相似度；这个距离或相似度的值可以衡量两个样本的相似程度，是诸衡量两个具有一定数量的特征和权值的数据的相似程度的方法或组合；各样本间的距离或相似度通过一定阈值加以控制，如果距离/相似度低于/高于所对应的阈值，则这个关系则被按升序或降序保存到关系文件中；这种按顺序保存的样本关系可以减小其后的聚类中合并和选取的复杂度，减小磁盘交互带来的时间开销。

5、根据权利要求1和3所述的大规模文本数据的外部聚类方法及系统，其特征在于：通过排序的关系文件进行外部聚类的方法，该方法每次从存储于外存的关系文件依次合并具有最先关系的样本，而后在合并的基础对现有关系进行裁剪；当关系文件为空时聚类过程结束，并将合并样本集合作为结果进行输出。