[发明专利]一种基于云计算平台的大数据聚类方法

说明书

本发明公开了一种基于云计算平台的大数据聚类方法，所述方法包括以下步骤：Step1:将数据集X＝(x1，x2，…，xn)部署到HDFS；Step2:依次读取每条记录i，并计算样本i与每个样本的相似度，得到数据集的相似度矩阵S；第i个样本与其余样本的相似度计算和第j个样本与其余样本的相似度计算可以并行进行；Step3:依据矩阵S得到数据集的加权连接矩阵W和度矩阵D；Step4:计算拉普拉斯矩阵L。本发明相对于传统的谱聚类方法来说，提高了并行谱聚类的聚类精度，同时在利用并行谱聚类进行计算的时候用到的MapReduce计算框架可以提高数据处理速度，主要依赖于Hadoop集群中的计算节点的个数即task‑tracker的个数，大大的提高整个谱聚类的聚类速度。

技术领域

本发明涉及数据挖掘领域，尤其涉及一种基于云计算平台的大数据聚类方法。

背景技术

云计算(Cloud Computing)是一种计算资源交付模型，通常对资源进行了虚拟化。简单地说，云计算就是计算服务的提供(包括服务器、存储、数据库、网络、软件、分析和智能)-通过Internet提供快速创新、弹性资源和规模经济。

大数据(big data)，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

谱聚类算法建立在谱图理论基础上，与传统的聚类算法相比，它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。该算法首先根据给定的样本数据集定义一个描述成对数据点相似度的亲合矩阵,并且计算矩阵的特征值和特征向量，然后选择合适的特征向量聚类不同的数据点。

但是传统谱聚类算法就是在构建的拉普拉斯矩阵中，根据聚类个数k，求解其前k个特征值与其对应的特征向量并构建特征向量空间，然后采用K-means算法对特征向量空间中的特征向量进行聚类，在实际应用中随着数据集规模的增大，谱聚类的收敛速度变得十分缓慢，然而利用传统的谱聚类算法会使得运行速度以及对配置方面要求更高，不利于普遍使用化。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于云计算平台的大数据聚类方法。

为本发明提出的一种基于云计算平台的大数据聚类方法，所述方法包括以下步骤：

Step1:将数据集X＝(x1，x2，…，xn)部署到HDFS；

Step2:依次读取每条记录i，并计算样本i与每个样本的相似度，得到数据集的相似度矩阵S；第i个样本与其余样本的相似度计算和第j个样本与其余样本的相似度计算可以并行进行；

Step3:依据矩阵S得到数据集的加权连接矩阵W和度矩阵D；

Step4:计算拉普拉斯矩阵L；

Step5:采用Lanczos算法计算矩阵L的前k个特征值和特征向量；

Step6:采用并行K-means算法对特征向量构成的特征空间进行聚类得到聚类结果C1，C2，…，Cn。