[发明专利]基于马尔科夫聚类算法的动态聚类方法

说明书

本发明涉及一种基于马尔科夫聚类算法的动态聚类方法，将数据集按照适合改进后的马尔科夫聚类算法的数据规模P进行批量聚类，即每次从数据集选取数据规模为P的数据集进行聚类；使用代表点算法在有新增数据时快速完成聚类更新，对于新增数据和原有数据分别利用代表类簇的代表点进行聚类，并根据聚类结果进行类别合并从而完成聚类更新，从而减少每次参与聚类的数据量，提高聚类的效率。本发明解决了马尔科夫聚类算法对大规模数据聚类精度低、速度缓慢的问题，主要应用于监控视频下类别数量未知的大规模人脸聚类。

技术领域

本发明属于数据挖掘领域的聚类算法技术，具体涉及一种基于马尔科夫聚类算法的动态聚类方法。

背景技术

传统的聚类算法主要有基于划分聚类的K-Means算法和K-Medoids算法，基于层次聚类的CURE算法和BIRCH算法，基于密度的DBSCAN算法，基于网格算法的STING算法以及基于模型的COBWEB算法等。其中K-Means算法因其实现原理简单、收敛速度快、计算结果为全局最优等优点成为最为经典同时也是应用最为广泛的聚类算法之一。但是该算法的参数K需要预先设定，而K值的设定需要对数据集有一定的认识，另外，该算法对于聚类类簇个数较大的数据集难以收敛得到较好的结果。层次聚类算法和密度聚类算法虽然不需要预先设定聚类类簇的数目，但是层次聚类算法聚类和分解的条件设置比较复杂且聚类结果非全局最优，密度聚类算法的时间复杂度较高；网格聚类算法虽然聚类效率较高但是聚类效果较差。

由于主存空间有限，有些信息并不需要全部存储，如监控视频由于帧的连续性产生的重复性图片，使得动态聚类应运而生。马尔科夫聚类算法通过不断更新所有节点之间的转移概率来模拟图的流向，最终在k步后收敛到一个转移矩阵，这个矩阵可以解释为G的聚类。马尔科夫聚类算法是通过交替扩张和膨胀的步骤来实现聚类的。扩张步骤是与当前转移矩阵相乘，膨胀步骤是一种列向非线性算子，它将概率矩阵中的每个值进行了一次幂次扩大，增加了小概率和大概率跃迁之间的对比，并将列向和标准化为1，从而达到强化紧密的点，弱化松散的点的目的。当使用强膨胀算子时，只有前几次的迭代是在密集矩阵上进行的，后面的步骤中的矩阵往往是稀疏的，如果仅保留每个列中一些最大概率，可以带来极大优化的可能性。

在网络具有小世界特性的情况下，用该算法进行聚类具有如下的优点：第一，算法不需要预先设定聚类类簇的数目，可以自动查找类别个数，更适用于复杂环境下的聚类情况；第二，算法对于小世界网络聚类的时间复杂度为O(n)，随着网络节点数的增加，算法的处理时间呈线性增长，算法的效率较高；第三，算法适用于处理大小不同、分布不均匀的类群，算法的可伸缩性较好；第四，算法的收敛速度很快，尤其对于加权图，只需要几次迭代就能达到稳定的状态。

当然，该算法也存在一些不足之处：第一，该算法在节点数较小的情况下具有不确定性，产生的聚类结果往往存在显著性差异，这是因为在小网络中，迭代过程从哪个节点开始更重要，而在大网络中，起点的相关性消失了，因此该算法适用于大网络的聚类；第二，在真实情况下，小世界网络中边的权重是未知，需要根据一定规则计算得到情况，如人脸聚类，由于构建小世界图的邻接矩阵的需要计算不同节点之间的相似度，其时间复杂性为O(n2)，因而导致该聚类速度缓慢；第三，算法对于类别数较多的情况下，可能会有较差的结果，即类别越多，当前空间下的特征向量区分性越差，因此将该算法应用于类别数较多的情况，需要提取高区分性的特征向量。

发明内容

本发明的目的是解决马尔科夫聚类算法对大规模数据聚类精度低、速度缓慢的问题，主要应用于监控视频下类别数量未知的大规模人脸聚类。

本发明的技术方案如下：

一种基于马尔科夫聚类算法的动态聚类方法，其特征在于包括以下步骤：