[发明专利]一种基于图像缩放的并行聚类方法

说明书

本发明提供了一种基于图像缩放的并行聚类方法，涉及模式识别及数据挖掘领域，将二维数据集划分为若干子数据集，每一子数据集由一个从计算节点单独利用图像缩放法进行聚类，之后各个从计算节点将其聚类结果传递给主计算节点进行融合，完成聚类过程，本发明由于采用了将聚类数据集分割并使用多个计算节点同时对子数据集进行局部聚类，之后对局部聚类结果进行融合形成最终结果的方法，可处理比传统聚类方法更大规模的数据集，且本发明为基于密度的聚类，可发现任意形状的簇，聚类时无须指定任何参数，在融合阶段，首先采用边缘检测法对子簇进行简化，使得子簇融合可以高效地进行，消除了模式识别和数据挖掘等领域中聚类数据集规模的瓶颈。

技术领域

本发明涉及模式识别及数据挖掘领域，尤其是一种基于密度的并行聚类方法。

背景技术

聚类，是指将物理或抽象的集合分成由类似的对象组成的多个类的过程。由聚类生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。在自然科学和社会科学中，存在着大量的分类问题，聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法。在商业上，聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来，并且概括出每一类消费者的消费模式或者说习惯。它作为数据挖掘中的一个模块，可以作为一个单独的工具以发现数据库中分布的一些深层的信息，并且概括出每一类的特点，或者把注意力放在某一个特定的类上以作进一步的分析；并且，聚类分析也可以作为数据挖掘算法中其他分析算法的一个预处理步骤。

聚类的算法可以分为划分法、层次法、基于密度的方法、基于网格的方法和基于模型的方法等。划分法指给定一个有N个元组或者记录的数据集，采用分裂法构造K(K<N)个分组，每一个分组就代表一个聚类，以后采用启发式方法反复迭代以改变分组，使得每一次改进之后的分组方案都较前一次好；层次法对给定的数据集按照“自底向上”或“自顶向下”进行层次似的分解，直到满足某种条件为止；基于密度的方法从数据对象的分布密度出发，将密度足够大的相邻区域连接起来，从而可以发现具有任务形状的簇，并能有效处理异常数据；基于网格的聚类从对数据空间划分的角度出发，利用属性空间的多维网格数据结构，将空间划分为有限数目的单元以构成一个可以进行聚类分析的网格结构，该方法可以处理任意类型的数据，但以降低聚类的质量和准确性为代价；基于模型的方法给每一个聚类假定一个模型，然后去寻找能够很好地满足这个模型的数据集。这样一个模型可能是数据点在空间中的密度分布函数或者其它。它的一个潜在的假定就是：目标数据集是由一系列的概率分布所决定的。

上述聚类方法各有优缺点，但它们有一个共同的缺点，即它们采用单个计算结点进行聚类，无法对超过单个计算结点存储容量限制的大规模数据集进行快速聚类。近年来，有学者针对此问题提出了一些并行化聚类方法，如基于消息传输模型和MapReduce模型的K-means并行聚类方法，但在该方法中，各计算节点耦合严重，在每一个迭代步骤都要进行大量通信，且具有不能发现任意形状簇等继承自原始K-means聚类方法的缺点。

发明内容

为了克服现有技术的不足，本发明提出一种基于密度的并行聚类方法来实现对大规模二维数据集的聚类，该方法将二维数据集划分为若干子数据集，每一子数据集可由一个从计算节点单独利用图像缩放法进行聚类，之后各个从计算节点将其聚类结果传递给主计算节点进行融合，完成聚类过程。

本发明解决其技术问题所采用的技术方案具体包括如下步骤：