[发明专利]一种针对大数据的分解组合聚类方法

摘要

本发明公开了一种基于分解组合的大数据聚类方法将数据集进行横向切分，获得若干数据子集；再将横向数据子集进行纵向切分，获得若干纵向数据子集；然后使用基础聚类算法，获得经过横向和纵向切分后数据子集的类别标签。将若干个纵向数据子集的类别标签进行组合聚类获得横向数据子集的类别标签；再将若干个横向数据子集的类别标签再次进行组合聚类得到完整数据集的类别标签。本发明将大数据聚类问题转化为组合聚类问题，具有高效性，鲁棒性和可并行化等优点。适用于大数据聚类，特别适用在文档分类、客户分群、信息检索等领域。

主权项

一种针对大数据的分解组合聚类方法，其特征在于：该方法首先将大数据分解，针对每个数据子集聚类，再使用组合聚类的方法求得最后的完整类别标签，具体步骤如下：1)对大数据的样本点进行随机抽样,得到若干横向数据子集；将大数据D进行横向切分，获得r个数据子集Di，1≤i≤r，使得r个数据子集的全集为D，r个数据子集的样本总数为D的样本数量的5倍以上；2)对得到的横向数据子集的属性进行随机抽样,得到若干规模较小的纵向数据子集；对每个数据子集Di进行纵向切分，获得c个数据子集Dij，1≤j≤c，使得c个数据子集的全集为Di，c个数据子集的属性总数为Di的属性数量的5倍以上；3)对得到的纵向数据子集,进行基础聚类,得到若干基础聚类结果；4)对纵向数据子集的基础聚类结果进行组合聚类,得到横向数据子集的类别标签；步骤4)中，利用基于K均值的一致性聚类方法对c个πij进行组合聚类，得到πi作为Di的类别标签；利用基于K均值的组合聚类方法对100个πij，1≤j≤c进行组合聚类，得到πi作为Di的类别标签；基于K均值的组合聚类方法如下：(41)将100个基础聚类结果πij，转化为0‑1矩阵，其转换方式如下：用表示由上述基础聚类结果得到的0‑1二元矩阵，ni为Di样本个数，其生成方式如下所示：xl(b)=<xl,1(b),...xl,j(b),...,xl,c(b)>]]>其中xl,j(b)=<xl,j1(b),...,xl,jq(b),...,xl,jKi(b)>,]]>因此，是一个的矩阵，其中Ki为的πij簇个数，并且(42)选择组合聚类效用函数U，并从中分解如果效用函数U可以进行如下所示的分解，则可利用基于快速一致性聚类的框架进行求解；其中，pk表示第k个类占所有数据的比例，mk,j表示πij的第k个类的中心，且上式中为凸函数；(43)基于生成快速聚类法的距离函数，利用K均值聚类法的距离范式，f(x,y)=Φ(x)-Φ(y)-(x-y)T▿Φ(y)]]>其中经验结果表明，基于熵的效用函数收敛速度快，并且还能够得到较好的聚类结果，其表达式如下:Σk=1Kpk(-H(mk,j))-(-H(P(i)))]]>其对应的K均值距离函数为加和的KL散度，形式如下：Σi=1rwiD(xl,j(b)||mk,j)]]>(44)最后利用K均值聚类算法，在0‑1矩阵上运用聚类函数f进行组合聚类，得到数据子集Di的类别标签πi；5)将未出现在横向数据子集的数据点的类别标签标记为0；6)对横向数据子集的类别标签进行组合聚类,得到整个数据集的类别标签；7)模式输出，得到完整数据集的类别标签，完成大数据的分解组合聚类。