[发明专利]一种基于谱旋转的一步谱聚类方法

说明书

本发明公开了一种基于谱旋转的一步谱聚类方法，涉及计算机大数据信息技术领域，解决的技术问题是提供一种谱聚类步骤精简且聚类准确率高的谱聚类方法，该方法通过将关系矩阵的学习，谱表示的学习，k‑means聚类的优化和转换矩阵的学习集成到一个框架中，使用原始数据集的降低维度后的低维特征空间来学习关系矩阵，通过对原始k‑means结果的旋转来寻找较优的聚类划分超平面，得到较优的聚类划分结果。本发明精简了谱聚类步骤，对大数据的聚类时间复杂度为线性，编写代码时只涉及到简单的数学模型，易于实施且聚类准确率高。

技术领域

本发明涉及计算机大数据信息技术领域，尤其涉及一种基于谱旋转的一步谱聚类方法。

背景技术

随着互联网特别是移动互联网的飞速发展，大量的数据不断的被收集和整理。当前大数据知识发现的主要研究包括：划分、聚类、检索、增量学习，这四个方面。而聚类因其能帮助发现大数据中的隐藏信息而成为研究的热点。

在众多的聚类方法中谱聚类以其能在任意形状的样本空间上聚类且收敛于全局最优解而成为研究的热门方向。现有技术谱聚类方法通常分为三大步，先是关系矩阵构建，然后是谱表示的学习，最后使用谱划分方法对得到的谱表示进行聚类划分，通过使用k-means对拉普拉斯矩阵进行特征值分解后的前d个特征向量所构成的矩阵进行聚类，即为最后的聚类结果。对现有技术的谱聚类方法而言，构建新的可靠的高质量的关系矩阵是其重要的一个步骤，而现有技术谱聚类方法构建的关系矩阵是从原始的欧式特征空间得到的，不能很准确的反映数据之间的真实的关系，进而以此关系矩阵进行后续的处理无法得到准确的子空间划分。除此之外，使用k-means进行最后的聚类划分所选择的划分平面并不是真实数据集分布的较优划分平面，因而对聚类准确率有较大的影响。

发明内容

针对现有技术的不足，本发明所解决的技术问题是提供一种谱聚类步骤精简且聚类准确率高的谱聚类方法。

为解决上述技术问题，本发明采用的技术方案是一种基于谱旋转的一步谱聚类方法，通过将关系矩阵的学习，谱表示的学习，k-means聚类的优化和转换矩阵的学习集成到一个框架中，使用原始数据集的降低维度后的低维特征空间来学习关系矩阵，通过对原始k-means结果的旋转来寻找较优的聚类划分超平面，得到较优的聚类划分结果，包括如下步骤：

(1)将关系矩阵的学习，谱表示的学习，k-means聚类的优化和转换矩阵的学习集成到一个框架中，设立目标函数，具体过程如下：

设立目标函数为：对应的约束条件为：s.t.,Y∈{0,1},yⁱ1＝1,R^TR＝I,S∈S,W^TX^TXW＝I；

其中，X是训练集，xⁱ表示数据集的第i个样本，W是需要学习的属性的系数矩阵，S是训练集样本之间的关系矩阵；

目标函数的第一项和第二项是为了在原始数据集的低维特征空间中学习出能更好的表示样本之间关系的关系矩阵，可消除原始数据集中可能的噪音数据带来的聚类结果不够准确的问题，同时学习到更好的谱表示；第三项是为了通过谱旋转使预测的结果更加接近真实聚类结果从而提高聚类准确率；约束条件的第一项Y∈{0,1},yⁱ1＝1是为了让Y成为指示矩阵即矩阵的每一行只有一个1，其余元素均为0的矩阵；第二项R^TR＝I是为了让投影后的样本尽可能分开，方便后续的聚类划分；第三项S∈S是为了约束关系矩阵的取值；第四项W^TX^TXW＝I是为了使降维新构成的样本XW是按正交投影的方式得到，使得到的谱表示更加合理准确；

(2)对目标函数进行求解，得出聚类结果，具体分步骤如下：

1)初始化矩阵S、W、Y、R为整个迭代过程提供一个初始值，其中，S使用热核函数构建，W是一个完全随机的矩阵，Y是一个随机的指示矩阵，R是一个单位矩阵；