[发明专利]一种基于云计算平台的大数据聚类算法

摘要

本发明公开了一种基于云计算平台的大数据聚类算法，对原始数据进行预处理；将数据分割为M个子数据，并分配给M个Map函数；对子数据进行局部聚类；对相同key的类进行合并；如果实际聚类个数R小于聚类个数k，则调整代表点个数c与收缩因子a，重新进行聚类，直到达到结束条件为止。如果有新的数据集产生，则依据判断条件如果新数据源中心个数K大于没有更新前获得的聚类数K或者新数据源的点数大于更新前数据源的点数，进行局部聚类。该方法利用云计算的高性能集群系统的并行计算能力来解决聚类面临的海量数据处理问题，以便能够快速，有效的挖掘出数据的关系。

主权项

一种基于云计算平台的大数据聚类算法，其特征在于，包括以下步骤：1)对原始数据集进行预处理；2)将数据U分割为M个子数据，并分配给M个Map函数；3)在Map阶段，对子数据进行局部聚类；4)在Reduce阶段，对相同key的类进行合并；5)如果实际聚类个数R小于聚类个数k，则调整代表点个数c与收缩因子，重新进行聚类，直到实际聚类个数R等于聚类个数k为止；6)如果N新＞N旧||K新＞K旧，那么两个数据集重新进行分割，K＝[(K新+K旧)/2]；反之，没更新的数据集得到的K个簇的中心点作为K个点与新数据源组成新的数据集进行分割，K＝K旧；其中，N新和N旧分别表示新数据源点数和没有更新前数据源点数，K新和K旧分别表示新数据源中心点个数和没有更新前数据源中心点个数；7)重复3)、4)、5)阶段直到实际聚类个数R等于聚类个数k为止。