[发明专利]一种非线性极限学习机算法

说明书

技术领域

本发明是一种非线性极限学习机算法，涉及到机器学习领域。

背景技术

传统前馈神经网络，结构相对复杂，其参数都需要初始化并且在训练过程中需要不断的调整，因此算法本身相对复杂，时间效率相对较低。同时BP、RBF等神经网络采用的是基于梯度下降的方法，由于梯度下降算法存在着容易陷入局部最小值问题，同时为了获得较好的学习性能，算法经常需要进行多次迭代，导致了网络计算效率并不高。而极限学习机(ELM)是一种新型的单隐层前馈神经网络学习算法，只需要设置网络的隐层节点个数，在算法执行过程中不用调整网络的输入权值以及隐元的偏置就能产生唯一的最优解，不需要调整网络的输入权值以及隐层神经元的偏置，具有参数选择容易、学习速度快且泛化性能好的优点。

SVM算法核函数的选择会影响泛化能力，其比ELM、BP更明显。网络参数如惩罚系数C，核参数g的设置是最大难题，即使目前常用的交叉验证法也较麻烦。SVM算法是针对两类的，扩展到多类时会使性能下降。

ELM不仅在学习速度上要比传统的SVM快得多，而且在许多时候扩展性和泛化性都要好于SVM,SVM的最大分离边际与ELM的输出权最小范数实际上是一致的，相比下，ELM的优化限制条件却更少。ELM有泛逼近能力和分类能力使其可以逼近任何连续目标函数，以及能对任何不相交区域进行正确分类。

相比传统的极限学习机(ELM)算法，核极限学习机(KELM)解决了传统算法随机初始化的问题并且对模型学习参数具有较好的鲁棒性。但是核极限学习机存在着理论上的缺陷，当核函数映射的空间维数小于样本个数时，在理论上无法引入核函数。

发明内容

本发明的目的是提供一种非线性极限学习机算法，该算法通过推导出核函数所对应的映射，来代替输入层与隐含层的非线性映射。并且当核函数映射空间的维数大于样本个数时，可以直接引入核函数，当核函数映射空间的维数小于样本个数时，可引入核函数。

为了实现上述目的，本发明的方案是：一种非线性极限学习机算法，其特征在于：包括如下步骤：

(1)在原始样本空间中通过核函数K(x_i,x_j)计算的结果等于x_i与x_j在特征空间的内积，即

K(x_i,x_j)＝<φ(x_i),φ(x_j)>＝φ(x_i)^Tφ(x_j)

(2)设核函数映射空间的维度为L，即φ(x_j)＝[φ(x_j1) φ(x_j2) … φ(x_jL)]，给定N组训练样本数据集(x_j,t_j)∈Rⁿ×R^m，即x_j＝[x_j1,x_j2,…,x_jn]^T，t_j＝[t_j1,t_j2,…,t_jm]^T，则其模型的输出为：

(3)若非线性极限学习机能以零误差逼近训练样本，即

则存在β，φ(x)，使

其中β_i为映射后的第i个特征与输出层节点之间的权值向量，改写为矩阵的形式

ΦB＝T

且有

其中B为输出权值矩阵，Φ为特征矩阵，其第j行是与输入x_j相关的特征映射φ(x_j)＝[φ(x_j1) φ(x_j2) … φ(x_jL)]，即x_j:φ(x_j)

(4)当L>N时，为了提高算法的稳定性与泛化能力，按照Tikhonov正则化及岭回归的思想，我们在Φ^TΦ的对角线上添加一个很小的正数，则输出权值的最小范数解为：

因此，非线性极限学习机的相应的输出为：