[发明专利]一种基于均匀抽样的二阶差分聚类数确定方法

说明书

技术领域

本发明涉及大数据聚类技术领域，特别是涉及一种基于均匀抽样的二阶差分聚类数确定方法。

背景技术

在企业走向新一代数字化变革的旅途，大数据比过往成指数级的增长，涉及多个领域的应用，包括互联网金融、医疗健康、社交、网络游戏、教育、税务、物流、餐饮、旅游、娱乐和航运等，大数据无处不在，同时也面临着无法整合海量多维的数据，无法进行关联性的数据分析及数据发现。因此灵活、快速和准确的处理这些大数据成为一项必不可少的工作。

聚类是一种无监督的学习方法，关于聚类数目确定的方法有许多，大部分的方法都是在研究如何提高得到最佳聚类数，比如经典的k-Means硬聚类算法，也有人提出一种若干标准隔离特定方面的性能的方法,如检索固有结构,对重采样的敏感性和稳定性的结果的新数据。但是许多算法所固有的不足也逐渐显露。

采用改进的二阶差分的方式来自动确定聚类数，可以实现在完全没有人工干预的条件下自动确定聚类数目，而且对各种数据集具有很好的适应性，但就算聚类数需要花费一定的时间，随着社会的进步，无论在医学、生物学，还是工业中来自不同过程的统计数据不断产生，都面临着数据庞大、结构复杂且维度多样的问题，此时如果不对这些大数据进行处理，而直接采用传统的聚类方法，计算量会非常大。

发明内容

本发明所要解决的技术问题是提供一种基于均匀抽样的二阶差分聚类数确定方法，能够提高速率的同时达到理想的结果。

本发明解决其技术问题所采用的技术方案是：提供一种基于均匀抽样的二阶差分聚类数确定方法，包括以下步骤：

(1)利用均匀抽样设计得到具有代表性的样本子集；

(2)利用二阶差分确定聚类数目，对目标函数求二阶差分发现二阶差分的极大值就是最佳聚类数。

所述步骤(1)具体包括以下子步骤：

(11)设置初始门限值A＞0，从大数据集合X中随机抽取n₀个点，记作令n＝n₀，得到点集A_n的中心化L₂偏差CL₂为CL₂(A_n)²；

(12)在大数据集合X中读取下一轮数据为y＝{y₁,…,y_i}，将y当作x_n+1，得到CL₂(A_n+1)²；

(13)得到α＝CL₂(A_n+1)²-CL₂(A_n)²，当α＜A，则y被选中，将A_n+1放入大数据集合X中，否则舍弃，令n＝n+1，再返回步骤(12)；当大数据集合X中的点被读取完，抽样结束，最终n为抽样总数。

所述步骤(2)具体包括以下子步骤：

(21)设定目标函数为

(22)对目标函数进行一阶差分后，再进行二阶差分得到二阶差分极大值所对应的点就是最佳聚类数；其中，λ₁和λ₂分别为类内和类间所占的不同权值，S_W为类内散度矩阵，c为聚类数目，S_B为类间散度矩阵，X为大数据集合，c为聚类数目，Z＝[z₁,…,z_c]表示聚类中心，1＜c＜n，代表第i类与第k类的类间距离的权重，利用步骤(1)中得到的样本子集来代替大数据集合X。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

本发明根据均匀抽样设计，将多维性、稀疏性和动态性的大数据进行数值分析，用此方法挑选出来的样本的均匀度、代表性等方面都要优于随机抽样。

本发明采用二阶差分算法确定精确的最佳聚类数k，传统的聚类数目确定方法通常需要人工确定，而对于很难获得先验知识的数据集，聚类分析会受到很大的限制，利用二阶差分方式自动确定聚类数，可以实现在完全没有人工干预的条件下自动确定聚类数目。

本发明根据二阶差分的算法得到最佳聚类数(k)，然后遍历所有的数据，用欧式距离算出这些点与选取的k个中心点的距离，并将这些点分别归入与之距离最小的中心点，这样就精确的将所有的数据归为了k类，而传统的算法得到的只是大概的几个类。