[发明专利]面向海量数据近似快速聚类和索引方法

摘要

本发明公开了一种面向海量数据的递归分块信息传递聚类和索引方法。利用该方法可以实现各种海量数据的准确，快速的聚类和适用于查询，更新的索引结构。用户可以将海量的无序数据进行处理，快速的进行聚类并索引，有利于以后的查询，检索，维护和更新。此方法可以应用于面向互联网的海量文本，图像，音频，视频等快速聚类和索引，也可以应用于海量生物基因序列的相似度比较，同源蛋白质检测。本发明还公开了一种近似的快速海量数据的聚类方法，利用该方法可以在保证聚类效果损失不大的情况下，能够呈指数级的加快聚类的速度。并且还能较好有利于训练集以外数据进行聚类，插入和更新，因此该方法可以普遍适用于各种复杂的海量数据的快速聚类和索引。

主权项

1.一种基于分块递归信息传递的聚类方法，其特征在于包括如下步骤：输入包括N个数据对象的集合，这些对象之间的相似度矩阵SN×N，其中S[i，j]≤0(i＝1ΛN，j＝1ΛN)，我们对其进行基于分块递归信息传递的聚类：1)将相似度矩阵SN×N平均分成k部分，接着对每部分再平均分成m部分，...并照此类推下去：$S=\left(\begin{array}{ccc}\left(\begin{array}{ccc}{S}_{11}& L& S_{1m}\\ M& O& M\\ S_{m1}& L& S_{\mathrm{mm}}\end{array}\right)& L& \left(\begin{array}{cc}L& S_{1k}\\ O& M\end{array}\right)\\ M& O& M\\ \left(\begin{array}{cc}M& O\\ S_{k1}& L\end{array}\right)& L& \left(\begin{array}{cc}O& M\\ L& S_{\mathrm{kk}}\end{array}\right)\end{array}\right)2)把子矩阵S11，S22，L\; Smm，L\; Skk通过基于消息传播的AP聚类方法迭代计算，得到k个消息传播子矩阵A11，A22，L，Amm，L\; Akk；3)将步骤2)中的消息传播子矩阵A11，A22，L，Amm，L\; Akk在对角线上合并，将其余部分设为0，得到整个数据集的消息传播矩阵A\prime ：$ A^{\prime }=\left(\begin{array}{ccc}\left(\begin{array}{ccc}{A}_{11}& L& A_{1m}\\ M& O& M\\ A_{m1}& L& A_{\mathrm{mm}}\end{array}\right)& L& 0\\ M& O& M\\ 0& L& \left(\begin{array}{cc}O& M\\ L& A_{\mathrm{kk}}\end{array}\right)\end{array}\right)除A11，A22，L，Amm，L\; Akk以外，消息传播矩阵A\prime 的其余部分为0；4)以A\prime 作为递归分块信息传递的聚类方法的起始信息传递矩阵AN\times N，作为迭代起点再利用AP聚类方法得到最终聚类结果。$$