[发明专利]一种分布式实现的稀疏子空间聚类方法

说明书

技术领域

本发明公开了一种分布式实现的稀疏子空间聚类方法，涉及机器学习数据处理技术领域。

背景技术

聚类问题是无监督机器学习研究的重要问题之一，在图像处理，数据挖掘，社交网络等领域得到广泛研究和应用。然而在许多实际问题中，随着数据维度的不断快速增加，所谓的“维数灾难”问题也日益显著。高维的数据如果用传统方法来求解，时间复杂度往往会难以承受，因此高维数据的高效建模和计算问题成为目前数据挖掘的重要挑战和难点。

Elhamifar&Vidal提出了建立在自表达性质基础上的稀疏子空间聚类模型。该模型利用每个样本的稀疏自表达重建系数构造相似度矩阵，进而将相似度矩阵应用谱聚类。坐标下降算法是经典的优化算法之一，近年来在高维稀疏学习问题(如LASSO)中得到很好的应用。

针对稀疏子空间聚类模型的自表达系数矩阵优化问题提出一种基于坐标下降的求解方法及其分布式实现。目前关于分布式稀疏子空间聚类算法的研究还较少。在原始的SSC论文中，Elhamifar&Vidal在求解系数矩阵使用的方法是交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)。但是ADMM需要更多的迭代次数，收敛速度慢，停止准则不好判断，参考量之间相互耦合，因此不利于分布式实现。故本发明提出一种案将整体的一个Lasso问题拆解成数个Lasso子问题进而分布式计算。

发明内容

为解决现有技术上的缺陷，本发明目的是在于提供了一种分布式实现的稀疏子空间聚类方法，充分利用计算机资源，将传统串行计算拓展到高性能分布式计算，符合大数据处理的趋势，降低了算法的处理时间。

为实现上述目的，本发明的技术方案如下：

一种分布式实现的稀疏子空间聚类方法，包括以下步骤：

步骤1、首先将待聚类的数据或图片提取特征后按列排列组成一个矩阵，得到原始数据。

步骤2、将原始数据分配到每个计算节点上，由于每个计算节点要分别计算各自的Lasso问题，所以各个计算节点要将数据用不同的序号分割，每个计算节点再从其他节点复制所有其他节点的数据，以得到求解Lasso稀疏重建需要的数据。

步骤3、以上就得到了分布式解决Lasso问题的条件，每个计算节点独立运行，用坐标下降法求解各自的Lasso问题。如果是单机并行计算，由于各个数据的稀疏重建是独立的，因此可以通过多核cpu并行计算。

步骤4、由于特征数量远远大于计算节点的数量，需要多次对计算节点分配需要以遍历完所有的特征。

步骤5、将每个计算节点的计算结果全部收集汇总，进行后续的带权无向图的生成和谱聚类过程，最终得到分类编号。

将整个Lasso稀疏重建问题拆解成Lasso子问题，并分别独立求解。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)将大问题分解成子问题分布式计算后，降低了算法的处理时间；

(2)充分利用计算机资源，将传统串行计算拓展到高性能分布式计算，符合大数据处理的趋势。

附图说明

图1是本发明机并行实现过程；

图2是本发明分布式实现过程。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

参加图1和图2，本发明提供的一种分布式实现的稀疏子空间聚类方法，其首先在将求解相似度矩阵的Lasso问题过程中将常用的ADMM算法替换为坐标下降法求解，然后利用坐标下降法求解Lasso问题过程的可分性将问题分布式计算。

本发明方法包括以下步骤：在多台计算机组成的集群上，将数据分发到每个计算节点上，然后每个计算节点选取本计算机和其他计算机的数据计算一个Lasso稀疏重建子问题直至问题收敛，当所有子问题由所有计算节点分工计算完成后，将计算结果向量汇总到主进程或管理节点，进行后续的带权无向图的生成和谱聚类过程，最终得到分类编号。较常用的ADMM串行计算，在不降低分类精确度的情况下，计算速度有了明显的提高。其具体方法如下：

步骤1、首先将待分类的图片提取特征后按列排列组成一个矩阵，得到原始数据：关于原始数据的生成，简要介绍一下稀疏子空间聚类模型。假设在D维欧几里得空间R^D中有n个线性的子空间他们的维度分别是给定一个具有N个无噪声的数据点集合这些数据点取自n个子空间中，则用一个矩阵来包括所有数据点，如：