[发明专利]极限学习机中超大规模隐含层节点快速选择方法

说明书

本发明提出了一种极限学习机中超大规模隐含层节点快速选择方法，在经典ELM算法框架下，拟在单隐层前馈神经网络的隐含层部分加入隐含层节点选择步骤，在大量的隐含层节点中选择出部分有效的隐层节点，组成新的隐含层矩阵，通过Cutting Plane算法对隐含层节点空间进行不断的切割，并配合节点选择阶段与节点权重更新子问题优化两阶段来实现对隐含层节点的快速选择；经过大量的实验数据的性能测试，本文算法的分类准确率相较于传统算法和其余一些算法都有明显提升。

技术领域

本发明属于高维数据特征选择领域，具体涉及一种极限学习机中超大规模隐含层节点快速选择方法。

背景技术

神经网络目前已经发展成为机器学习领域中的一门不可或缺的技术，这种网络模型具有一定的自学习能力，同时又能够保有较高的效率、准确率以及可靠性，通过一些非线性函数可以拟合任意复杂的数学函数，因而得到广泛的应用和研究。而在众多的神经网络中，前馈神经网络应用较为广泛，其网络结构较为简单，训练时间较短，而且函数的拟合能力较强。极限学习机算法作为单隐层前馈神经网络的一种创新型的方法，具有较强的学习能力，算法的学习效率也大大提升，因此成为了神经网络的一个里程碑式的突破。

在现有的极限学习机隐含层节点选择算法中，修剪极限学习机(P-ELM)算法使用统计学方法来衡量各个隐藏节点的关联，从最初的大量隐藏节点开始，考虑相关的类别标签来裁剪不相关的节点。相比传统的ELM和其他流行的机器学习方法，P-ELM在几种常用分类问题和形式多样的隐层节点函数的实验中，P-ELM分类器表现更加快速，预测精度也更加稳定。P-ELM算法模型主要用于分类，基于P-ELM算法，提出最优修剪极限学习机(OP-ELM)算法，该算法不仅适用于分类问题，还能够处理回归问题。这种算法在ELM算法构建的单隐藏层神经网络框架下。对于P-ELM算法来说，很难确定开始构造的网络的大小，所以在构造网络时，为了能够找到最优的模型规模，在实验时往往会先构造一个规模较大的网络，便大大增加了模型计算的复杂性，浪费更多算法训练时间。还有一种改进的ELM降秩矩阵算法，用于计算Moore Penrose广义逆，该算法基于一个高效降秩的矩阵，通过计算较低秩矩阵保证了算法的有效性，并且介绍了在分类问题上，利用稀疏贝叶斯方法来学习ELM的输出权重，称为稀疏贝叶斯极限学习机(SBELM)算法，该方法通过估计网络输出的边界可能性，并且在训练阶段自动修剪大部分冗余的隐含神经元，从而得到一个准确紧凑的学习模型。但是却存在对计算资源要求高的问题，特别是当涉及到高维数据的情况下，会出现内存溢出的情况。

发明内容

为了解决现有技术中存在的问题，本发明研究工作主要集中在研究传统极限学习机的隐含层节点快速选择方面，详细的研究内容具体可以展开为：在经典ELM算法框架下，拟在单隐层前馈神经网络的隐含层部分加入隐含层节点选择步骤，在大量的隐含层节点中选择出部分有效的隐层节点，组成新的隐含层矩阵。具体方法是运用切平面算法实现隐含层节点的快速选择，将这一问题转化为最小二乘回归问题，并添加节点选择向量来进行节点选择，通过拉格朗日函数等凸优化方法进行化简与优化，主要过程分为节点选择阶段与算法优化两部分来进行分析，最终实现隐含层节点的选择研究。

为了实现上述目的，本发明采用的技术方案是，极限学习机中超大规模隐含层节点快速选择方法，包括以下步骤：

S1，将待训练数据集进行ELM算法的矩阵映射，即将训练数据集按隐含层矩阵计算方法来得到隐含层输出矩阵H；

S2，输出矩阵H的每一行即为一个节点，在隐含层输出矩阵H基础上，根据分类误差计算各个节点与类别标签的紧密程度，然后选择紧密程度最为紧密的K个节点；并存入节点结合Ω中；分类误差的初始值为类别标签的向量表示；

S3，基于步骤S2中选择的节点构建数据分类器，计算新的分类误差，并依据新的分类误差循环步骤S2和S3直至分类误差满足收敛条件。

步骤S1的具体步骤如下：

S11对隐含层的激励函数、隐含层节点数目进行设置；