[发明专利]一种基于聚类的分步式数据降维方法

说明书

技术领域

本发明属于数据挖掘领域，具体涉及一种聚类和降维相结合的高效的数据降维方法。

背景技术

近几年，工业监测数据大量产生，如何从大量数据中提取有效信息已成为工业界的重要研究课题。现有研究中，数据降维方法能够把高维数据通过低维空间表现出来的同时，保留绝大多部分有效信息，消除数据冗余，已成为一种有效的信息提取手段，被广泛研究。目前，主要的降维方法包括PCA、LDA、局部线性降维LLE、非线性降维核PCA、多层自动编码等，但由于各自方法的局限性，在数据维数较高时，效率较低，难以满足数据发展的迫切需求。

发明内容

本发明的目的在于提供一种基于聚类的分步式降维方法，可以进一步提高降维的有效性。

为实现上述目的本发明采用以下技术方案：一种基于聚类的分步式降维方法，包括如下步骤：

步骤1、对工业监测数据按数据点间的距离进行聚类；

步骤2、对步骤1产生的聚类数据的每一类数据分别进行降维，即分区降维；

步骤3：对步骤2产生降维后的数据进行一系列调整之后再进行一次降维。

作为本发明进一步的方案，步骤1具体按照以下步骤实施：

步骤(1.1)、工业监测数据为矩阵X，令x_k^T＝(x_k1，x_k2，...，x_kp)，k＝1，2，...，N，p为变量数目，N是采样的样本数目；

步骤(1.2)、将所述步骤(1.1)中数据集分成a类，其中a为给定常数，随机选择a个样本作为初始均值向量，它的集合U＝{u₁，u₂，...，u_a}，即为a类样本的中心，u_i＝x_k^T，i＝1，2，...，a；

步骤(1.3)、分别计算N个采样样本x_k分别到各个中心u_i的距离，d_ik＝||x_k^T-u_i||₂；

步骤(1.4)、根据距离最近的均值向量确定每个样本x_k的标记，每个样本只能属于某一类；聚类之后，第一类集合表示为C₁，card(C₁)＝l₁，其中i＝1，2，...，l₁，为样本向量x_k，同理第a类集合表示为C_a，card(C_a)＝l_a其中i＝1，2，...，l_a，且要满足

作为本发明进一步的方案，步骤2具体按照以下步骤实施：

对步骤1聚类后每类的样本数据进行降维，先对聚类之后的第一类数据进行降维，再用同样的方法对剩下的(a-1)类依次进行降维，第一类样本集合为C₁，

步骤(2.1)、对第一类样本集合C₁进行中心化，中心化过程为其中x_ij分别表示样本集合C₁中第i行第j列的数据，中心化过程就是把C₁中的每一个数据减去该列数据的平均数；

步骤(2.2)、计算样本的协方差矩阵C₁^TC₁；

步骤(2.3)、对协方差矩阵C₁^TC₁做特征值分解；

步骤(2.4)、取最大的d₁个特征值对应的特征向量其中q＝1，2，...，d₁，且d₁≤l₁；