[发明专利]一种大数据聚类方法及装置

说明书

本发明涉及数据挖掘技术领域，公开了一种大数据聚类方法，包括以下步骤：S1、获取原始数据集；S2、采用分布式Canopy算法将所述原始数据集划分为多个全局Canopy中心集；S3、采用分布式K‑means聚类算法，以各所述全局Canopy中心集的全局Canopy中心作为所述分布式K‑means聚类算法的初始聚类中心，对所述原始数据集进行聚类处理。本发明提供的大数据聚类方法具有收敛速度快，聚类效果好的技术效果；同时，缓解了单服务器处理海量数据带来的硬件瓶颈问题，有利于对大规模数据进行快速、有效的数据挖掘。

技术领域

本发明涉及聚类分析技术领域，具体涉及一种大数据聚类方法及装置。

背景技术

目前，我们生活在一个被拥有4V特点的大数据时代，丰富的数据资源中蕴藏着大量的宝贵价值，从中获取有利的信息成为学术界和工业界的热点问题。聚类作为数据挖掘领域研究的主要内容之一，在揭示数据内在性质及规律方面具有极其重要的作用。维度高，数据结构复杂和体积庞大的数据使传统的聚类分析方法显得力不从心，并且传统的聚类方法，例如分布式K-means聚类算法无论是在串行化或者并行化的情况下始终都存在着初始聚类中心随机选择的缺点,严重影响最终收敛速度和聚类效果；同时，对大规模数据集进行聚类分析，单服务器的硬件瓶颈致使算法分析能力受到限制。

发明内容

本发明的目的在于克服上述技术不足，提供一种大数据聚类方法及装置，解决现有技术中收敛速度慢、聚类效果不好的技术问题。

为达到上述技术目的，本发明的技术方案提供一种大数据聚类方法，包括以下步骤：

S1、获取原始数据集；

S2、采用分布式Canopy算法将所述原始数据集划分为多个全局Canopy中心集；

S3、采用分布式K-means聚类算法，以各所述全局Canopy中数据样本的均值作为所述分布式K-means聚类算法的初始聚类中心，对所述原始数据集进行聚类处理。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述大数据聚类方法。

本发明还提供一种大数据聚类装置，包括客户终端、名称节点服务器以及数据节点服务器，所述数据节点服务器的数量为多个，所述客户终端、名称节点服务器以及多个所述数据节点服务器组建Hadoop集群；

所述客户终端用于上传原始数据集至所述名称节点服务器；

所述名称节点服务器用于将所述原始数据集分配至空闲的数据节点服务器；

所述数据节点服务器用于采用所述大数据聚类方法，对所述原始数据集进行聚类处理。

与现有技术相比，本发明的有益效果包括：本发明首先采用分布式Canopy算法将所述原始数据集划分为多个全局Canopy中心集，并计算各所述全局Can opy中心集的均值，以该均值作为分布式K-means聚类算法的初始聚类中心进行聚类。从而利用分布式Canopy算法改进分布式K-means聚类算法存在的聚类数和初始聚类中心随机选择的缺陷，加快了收敛速度，提高了聚类效果。同时，Canopy算法和K-means聚类算法均结合分布式数据处理方法，从而缓解了单服务器处理海量数据带来的硬件瓶颈问题，有利于对大规模数据进行快速、有效的数据挖掘。

附图说明

图1是本发明提供的大数据聚类方法一实施方式的流程图；

图2是本发明提供的分布式Canopy算法一实施方式的流程图；

图3是本发明提供的分布式K-means聚类算法一实施方式的流程图；

图4是本发明提供的大数据聚类装置的结构示意图。

附图标记：