[发明专利]一种基于迭代的神经网络聚类方法

说明书

技术领域

本发明主要用于解决机器学习中经典的聚类问题，使用方法涉及到由人工神经网 络改进的超限学习机算法。

背景技术

对数据的聚类问题一直以来都是工业系统与计算科学中的重要研究内容。在这个 信息量爆炸的大数据时代，数据处理相关的业务需求日益增多，所要处理的数据也越来越 复杂。随着人们对聚类问题的深入研究，不断有新的聚类方法被提取。传统聚类算法如K均 值算法、最大期望算法以及层次聚类算法等，聚类速度快但仅适用于数据空间线性可分情 况的。新兴的聚类算法如谱聚类算法、深度学习自编码器、非监督超限学习机等，可以解决 数据空间高维且线性不可分的情况，但通常需要消耗较大的内存或需要较长的运行时间。

目前，对于大规模复杂数据的聚类，既需要聚类算法有处理高维线性不可分数据 的能力，也需要解决内存与运行成本。本发明利用神经网络来解决聚类问题，使得该方法能 够有效地处理高维非线性复杂数据。并且引入超限学习机模型来求解神经网络，打打提升 了算法的运行速度。超限学习机，英文名为ExtremeLearningMachine，是黄广斌教授于 2004年提出的针对单隐层前馈神经网络的学习方法。与传统神经网络优化的梯度下降算法 不同，超限学习机的学习过程不需要迭代操作，这大大减少了它的训练时间。此外，本方法 以K均值算法为基本框架，便于使用并行化的加速手段来减少聚类的时间消耗。并且使用超 限学习机的神经网络模型以及仅用少量榜样集进行训练的策略，因此该方法只需要较短的 计算时间与较少的内存消耗。

综合来讲，本发明既解决了传统聚类方法不能很好处理高维非线性数据空间聚类 的问题，又解决了新兴聚类算法内存消耗大和运行时间长的问题，使得本方法能够有效地 处理大规模复杂数据的聚类问题。

发明内容

本发明的目的在于提供一种基于迭代的神经网络聚类算法，本发明基于传统聚类 的框架，通过引入神经网络作为相似度衡量的依据，并通过不断优化网络结构得到更准确 的相似度衡量标准。

本发明提出一种基于迭代的神经网络聚类算法包括以下步骤：

步骤1，初始化超限学习机模型参数；

步骤2，随机选取与所要聚类个数相同数量的样本，每个样本代表一个聚类，训练 超限学习机以得到初始的隐层到输出层间权值；

步骤3，利用当前的超限学习机模型对样本进行聚类分组；

步骤4，对于每一个聚类分组，根据规则选取多个样本作为该聚类分组的榜样；

步骤5，使用上个步骤中得到各聚类分组的榜样样本来重新训练超限学习机模型；

步骤6，若满足结束条件则输出聚类分组结果，否则返回步骤3。

进一步，步骤1共包括以下2个子步骤：

步骤1.1，设置超限学习机模型的隐层神经元个数L、隐层的激活函数g(θ)以及正 则项系数γ；

其中隐层神经元个数L的取值大于样本的特征维度d；隐层的激活函数g(θ)通常 Sigmoid函数，正则项系数γ的取值范围通常为[10^-5，10¹⁰]；

步骤1.2，随机初始化超限学习机模型中输入层到隐层的权值W以及偏置b，输入层 到隐层的权值W是一个d行L列的随机矩阵，随机范围为[1，1]；偏置b是一个1行L列的随机矩 阵，随机范围为[-1，1]，偏置b中的一列对应隐层中一个神经元的偏置。

进一步，步骤2共包括以下2个子步骤：

步骤2.1，随机选取聚类个数个样本，即随机选取K个样本，其中每个样本都代表一 个聚类，构成初始榜样集和对应的目标输出来训练超限学习机模型；

步骤2.2，计算隐层神经元的输出H⁽⁰⁾和超限学习机隐层到输出层的权重β⁽⁰⁾，从而 得到初始模型，计算公式如式(2)、(3)、(4)所示：

H⁽⁰⁾＝g(W·E⁽⁰⁾+B⁽⁰⁾)(2)

如果K＞L，

否则，