[发明专利]一种基于GraphX的分布式幂迭代聚类方法和装置

说明书

本发明公开了一种基于GraphX的分布式幂迭代聚类方法和装置。该方法包括：获取分布式存储的多个数据；对所述多个数据分别进行数据清洗，得到多个清洗数据；基于所述多个清洗数据中两两之间的相似度，构建亲和矩阵；基于GraphX，利用设置的随机初始向量对所述亲和矩阵进行迭代处理；利用KMeans++算法，对迭代向量进行聚类处理，并根据处理结果得到所述多个清洗数据的聚类结果。本发明有效地解决了基于图的聚类算法可扩展性不强、计算复杂度高的问题。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于GraphX的分布式幂迭代聚类方法和装置。

背景技术

幂迭代聚类是在谱聚类的基础上演化出的一种聚类算法。幂迭代聚类建立在图论中的谱图理论基础上，本质上是将聚类问题转化为图的最优划分问题。与经典的图聚类选取相似矩阵的几个特征向量构成低维子空间进行聚类不同，幂迭代聚类对所有的特征向量进行线性组合，对得到的一维子空间进行聚类。所以，幂迭代聚类的效果一般比谱聚类要好。幂迭代聚类的核心计算是矩阵与向量的乘法计算，不需要计算矩阵的特征值和特征向量。所以，幂迭代聚类比谱聚类更加简单、快速。为了让该算法应用在大规模数据分析中，研究人员基于多点接口(Multi Point Interface，MPI)并行实现了幂迭代聚类，但仍存在节点失效的问题。还有基于Hadoop MapReduce的幂迭代聚类研究，但由于MapReduce计算框架每次shuffle都要读写磁盘，对于需要进行多次迭代的算法存在性能瓶颈。

因此，在现有技术中，基于图的聚类算法可扩展性不强、计算复杂度高。

发明内容

本发明提供一种基于GraphX的分布式幂迭代聚类方法和装置，用以克服现有的大多数基于图的聚类可扩展性不强、计算复杂度高的问题。

针对上述技术问题，本发明是通过以下技术方案来解决的。

本发明提供了一种基于GraphX的分布式幂迭代聚类方法，包括：获取分布式存储的多个数据；对所述多个数据分别进行数据清洗，得到多个清洗数据；基于所述多个清洗数据中两两之间的相似度，构建亲和矩阵；基于GraphX，利用设置的随机初始向量对所述亲和矩阵进行迭代处理；利用KMeans++算法，对迭代向量进行聚类处理，并根据处理结果得到所述多个清洗数据的聚类结果。

其中，所述基于所述多个清洗数据中两两之间的相似度，构建亲和矩阵，包括：在n个清洗数据中，利用预设的相似度算法sim，计算第i个清洗数据x_i和第j个清洗数据x_j之间的相似度；将计算得到的相似度sim(x_i,x_j)作为n维亲和矩阵的第i行、第j列的元素A_ij；其中，1≤i≤n，1≤j≤n，n＞0。

其中，所述利用设置的随机初始向量对所述亲和矩阵进行迭代处理，包括：对所述亲和矩阵进行归一化处理；根据归一化后的所述亲和矩阵，设置随机初始向量；利用归一化后的所述亲和矩阵和所述随机初始向量，在GraphX组件中构建图，并对所述图进行多次迭代，直到迭代获得的收敛加速度小于预设的收敛阈值为止。

其中，所述根据归一化后的所述亲和矩阵，设置随机初始向量，包括：对所述亲和矩阵按行进行归一化处理；利用行归一化后的亲和矩阵初始化预设的初始向量，得到随机初始向量。

其中，利用KMeans++算法，对迭代向量进行聚类处理，并根据处理结果得到所述多个清洗数据的聚类结果，包括：利用KMeans++算法，对最后一次迭代得到的迭代向量进行聚类处理，得到所述最后一次迭代得到的迭代向量的聚类处理结果；根据所述聚类处理结果，确定所述多个清洗数据的聚类结果；其中，所述最后一次迭代得到的迭代向量中的元素和所述多个清洗数据组成的清洗数据集中的清洗数据一一对应。