[发明专利]一种针对大数据的分解组合聚类方法

说明书

技术领域

本发明属于数据挖掘领域，涉及一种数据划分的聚类方法，具体的说是一种针对大数据的组合聚类方法。

背景技术

大数据给人们带来了前所未有的冲击和挑战，大数据的特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。如何挖掘大数据中蕴含的潜在价值信息成为工业界和学术界的热点问题。大数据具有数据量大，维度高的特点，这使得传统的数据分析方法在大数据面前束手无策，力不从心；并且大数据中存在噪声属性和噪声样本点也让挖掘大数据的内在模式难上加难。

发明内容

鉴于大数据聚类中的海量高维难题，本发明的目的是提供一种针对大数据的分解组合聚类方法，本发明采用“分解-组合”的方法，首先将大数据分别进行横向和纵向切分，得到若干数据子集，再利用快速聚类法获得数据子集的类别标签，再利用组合聚类法将若干数据子集的类别标签进行组合，得到完整的数据类别标签。

本发明的目的是通过以下技术方案来实现的：

一种针对大数据的分解组合聚类方法，其特征在于：该方法首先将大数据分解，针对每个数据子集聚类，再使用组合聚类的方法求得最后的完整类别标签，具体步骤如下：

1)对大数据的样本点进行随机抽样,得到若干横向数据子集；

进一步：将大数据D进行横向切分，获得r个数据子集D_i，1≤i≤r，使得r个数据子集的全集为D，r个数据子集的样本总数为D的样本数量的5倍以上。

进一步：利用随机抽样的方式，对大数据进行横向切分，随机抽取10％的样本量获得数据子集D_i，有放回的重复抽样r＝100次，使得100个数据子集的全集为D。

2)对得到的横向数据子集的属性进行随机抽样,得到若干规模较小的纵向数据子集；

进一步：对每个数据子集D_i进行纵向切分，获得c个数据子集D_ij，1≤j≤c，使得c个数据子集的全集为D_i，c个数据子集的属性总数为D_i的属性数量的5倍以上。

进一步：利用随机抽样的方式，对每个数据子集D_i进行纵向切分，随机抽取10％的属性获得数据子集D_ij，有放回的重复抽样c＝100次，使得100个数据子集D_ij的全集为D_i。

3)对得到的纵向数据子集,进行基础聚类,得到若干基础聚类结果；

利用K均值对每个数据集子集D_ij进行聚类，得到π_ij；K均值算法如下，其中K均值聚类距离函数为平方欧式距离或者余弦相似度；只需要运行K均值算法一次即可：

(31)选择K个点作为初始中心；

(32)重复；

(33)将每个点指派到最近的中心，形成K个簇；

(34)重新计算每个簇的中心；

(35)直到中心不发生变化。

4)对纵向数据子集的基础聚类结果进行组合聚类,得到横向数据子集的类别标签；

进一步：利用基于K均值的一致性聚类方法对c个π_ij进行组合聚类，得到π_i作为D_i的类别标签。

利用基于K均值的组合聚类方法对100个π_ij，1≤j≤c进行组合聚类，得到π_i作为D_i的类别标签；基于K均值的组合聚类方法如下：

(41)将100个基础聚类结果π_ij，转化为0-1矩阵，其转换方式如下：

用表示由上述基础聚类结果得到的0-1二元矩阵，n_i为D_i样本个数，其生成方式如下所示：

其中

因此，是一个的矩阵，其中K_i为的π_ij簇个数，并且

(42)选择组合聚类效用函数U，并从中分解

如果效用函数U可以进行如下所示的分解，则可利用基于快速一致性聚类的框架进行求解；

其中，p_k表示第k个类占所有数据的比例，m_k,j表示π_ij的第k个类的中心，且上式中为凸函数；

(43)基于生成快速聚类法的距离函数，利用K均值聚类法的距离范式，