[发明专利]面向海量数据近似快速聚类和索引方法

说明书

技术领域

本发明涉及一种面向海量数据的近似快速聚类和索引方法。该方法通过对局部区域数据之间的相似度信息传递，为海量复杂数据的聚类分析提供判断依据，从而实现海量数据的近似快速聚类和索引，属于多媒体信息处理，数据挖掘算法领域。

背景技术

在当今科学技术高度发展的今天，人们往往要面临海量的各种数据需要来进行处理，例如互联网上数以亿记的网页，图片，视频，音频等等，各种生物体测序出来的基因序列，都是包含海量数据信息的浩大工程，并且这些数据还在动态急速增长的过程中。我们面对如此浩大的数据需要处理时，数据挖掘就显得尤为重要了，聚类就是数据挖掘中最重要的方向之一。

传统聚类方法可以分为两种：监督式聚类和非监督式聚类。其中监督式聚类的代表方法是K平均聚类。在这种方法中，聚类的最终结果与用户初始指定的初始聚类中心有关。用户需要指定聚类数目、初始质心和评判某个成员归属某个聚类集合的阈值大小。这种方法本质上不是根据聚类元素的分布进行自适应聚类，且其聚类精度和效率依赖于初始质心选取等预设参数。

非监督聚类中代表性的聚类方法有支持向量聚类(Support VectorClustering)，是基于支持向量机的聚类算法。在支持向量聚类中，聚类数据通过高斯核函数从低维空间被映射到高维特征空间，于是可以在这个高维特征空间找到一个最小的超球体将这些数据包围起来(虽然在低维空间无法找到这样的最小超球体将被聚类数据包围起来)，这个超球体接着被映射回原始低维数据空间，被看作是包围被聚类数据点的轮廓，这些轮廓就认为是聚类簇的边界，在同一个轮廓中被包围的数据点认为属于同一个聚类集合，从而完成聚类。但是，支持向量聚类也不是基于聚类数据物理分布的，难以反映数据全局分布。

近来，一种叫做AP聚类(Affinity Propagation Clustering)的方法被提出，其基本思想就是通过消息传递，实现数据点的自动聚类。它将数据对象之间的相似度作为输入，而且此相似度可以是非对称的，即数据对象A到数据对象B的相似度可以不等于数据对象B到数据对象A的相似度。实值信息在数据对象之间交换传播直至一组高质量的聚类中心和相应的聚类产生。

假设i和k是任意两个节点，s(i，k)是按照下面式子计算得到的设i和k

之间距离，N是节点形成的聚类集合数目，则AP聚类可以看作使得E(c)=-Σi=1Ns(i,ci)]]>值最小的计算结果。在AP聚类中，节点和节点之间相互传递两类信息，分别是r(responsibility)和a(availability)。其中r(i，k)表示k作为节点i的聚类质心的可信度，a(i，k)表示节点i选择k作为其聚类质心的可信度。

AP聚类过程如下所示。

(1)根据以下公式更新节点之间的R：