[发明专利]一种非线性极限学习机算法

摘要

一种非线性极限学习机算法，目的在于通过推导出核函数所对应的映射，来代替极限学习机中输入层与隐含层之间的非线性映射，进而解决了当核函数映射的空间维数小于样本个数时，无法引入核函数的问题。当核函数映射空间的维数大于样本个数时，可以直接引入核函数；当映射空间的维数小于样本个数时，运用这种新的非线性极限学习机算法，由于特征空间维数小于样本个数，不会存在“维数灾难”等问题。通过Iris数据的测试，当多项式次数为3次时，映射后特征空间的维数小于训练样本个数，因此选用这种新的非线性极限学习机，得到测试精度为100％，对测试样本完全正确地进行了分类识别。

主权项

一种非线性极限学习机算法，其特征在于：依据下列步骤进行：(1)在原始样本空间中通过核函数K(xi,xj)计算的结果等于xi与xj在特征空间的内积，即K(xi,xj)＝<φ(xi),φ(xj)>＝φ(xi)Tφ(xj)(2)设核函数映射空间的维度为L，即φ(xj)＝[φ(xj1) φ(xj2) … φ(xjL)]，给定N组训练样本数据集(xj,tj)∈Rn×Rm，即xj＝[xj1,xj2,…,xjn]T，tj＝[tj1,tj2,…,tjm]T，则其模型的输出为y(xj)=Σi=1Lβiφ(x1)φ(x2)...φ(xN)=oj,j=1,...,N]]>(3)若非线性极限学习机能以零误差逼近训练样本，即Σj=1N||oj-tj||=0]]>则存在β，φ(x)，使Σi=1Lβiφ(x1)φ(x2)...φ(xN)=tj,j=1,...,N]]>其中βi为映射后的第i个特征与输出层节点之间的权值向量，改写为矩阵的形式ΦB＝T且有B=β1Tβ2T...βNTL×m,T=t1Tt2T...tNTN×m,]]>其中B为输出权值矩阵，Φ为特征矩阵，其第j行是与输入xj相关的特征映射φ(xj)＝[φ(xj1) φ(xj2) … φ(xjL)]，即xj:φ(xj)(4)当L>N时，为了提高算法的稳定性与泛化能力，按照Tikhonov正则化及岭回归的思想，在ΦTΦ的对角线上添加一个正数，则输出权值的最小范数解为BΛ=(IC+ΦTΦ)-1ΦTT]]>因此，非线性极限学习机的相应的输出为y(x)=φ(x)BΛ=φ(x)(IC+ΦTΦ)-1ΦTT]]>当L＝N时，该模型能够以零误差逼近训练样本，为了防止过拟合，需要在Φ的对角线上添加一个正数，则输出权值的解为BΛ=(IC+Φ)-1T]]>因此，非线性极限学习机的相应的输出为y(x)=φ(x)BΛ=φ(x)(IC+Φ)-1T]]>当L<N时，非线性极限学习机的训练相当于求解线性方程组ΦB＝T的最小二乘解即同样为了提高算法的稳定性与泛化能力，防止过拟合，在ΦΦT的对角线上添加一个正数，则输出权值的最小范数最小二乘解为BΛ=ΦT(IC+ΦΦT)-1T]]>此时可以直接将ΦΦT替换为核函数ΩELM,相应的输出为y(x)=φ(x)BΛ=φ(x)ΦT(IC+ΦΦT)-1T=K(x,x1)K(x,x2)...K(x,xL)T(IC+ΩELM)-1T]]>(5)对于多项式核函数K(xi,xj)＝(xi·xj+1)p,将n维的原始空间映射到维空间；证明：当n＝2时K(xi,xj)=(xi·xj+1)p=(xi1xj1+xi2xj2+1)p=[xi1xj1+(xi2xj2+1)]p=CP0(xi1xj1)p+CP1(xi1xj1)p-1(xi2xj2+1)+...+CPr(xi1xj1)p-r(xi2xj2+1)r+...+CPp(xi2xj2+1)p]]>映射后空间的维数为1+2+3+...+(p+1)=(p+1)(p+2)2=(p+2)!p!2!]]>假设当n＝k时成立，即映射后特征空间的维数为当n＝k+1时，K(xi,xj)=(xi·xj+1)p=(Σl=1k+1xilxjl+1)p=[xi1xj1+(Σi=2k+1xilxjl+1)]p=CP0(xi1xj1)p+CP1(xi1xj1)p-1(Σl=2k+1xilxjl+1)+...+CPr(xi1xj1)p-r(Σl=2k+1xilxjl+1)r+...+CPp(Σl=2k+1xilxjl+1)p]]>根据假设，映射后特征空间的维数为1+(1+k)!1!k!+(2+k)!2!k!+...+(p+k)!p!k!=Ckk+Ck+1k+Ck+2k+...+Ck+pk=Ck+p+1k+1=(k+p+1)!(k+1)!p!]]>成立因此模型的输出为y(x)=φ(x)BΛ=φ(x)(IC+ΦTΦ)-1ΦTTN<(p+n)!p!n!K(x,x1)K(x,x2)...K(x,xL)T(IC+ΩELM)-1TN>(p+n)!p!n!φ(x)(IC+Φ)-1TN=(p+n)!p!n!]]>(6)对于高斯核函数将原始空间映射到无限维空间；K(xi,xj)=e-||xi-xj||22σ2=e-<xi-xj,xi-xj>2σ2=e-(<xi,xi>-2<xi,xj>+<xj,xj>)2σ2=e-(||xi||2-2xiTxj+||xj||2)2σ2=e-||xi||22σ2e-||xj||22σ2exiTxjσ2=e-||xi||22σ2e-||xj||22σ2Σn=0∞(xiTxjσ2)nn!=limn→∞e-||xi||22σ2e-||xj||22σ2Σk=0n(xiTxjσ2)kk!=limn→∞e-||xi||22σ2e-||xj||22σ2((xiTxjσ2)1!+(xiTxjσ2)22!+...+(xiTxjσ2)nn!)]]>其中高斯核函数将原始空间映射到无限维空间，远远大于样本个数N，因此可以直接引入高斯核函数，模型的输出为y(x)=φ(x)BΛ=φ(x)ΦT(IC+ΦΦT)-1T=K(x,x1)K(x,x2)...K(x,xL)T(IC+ΩELM)-1T]]>其中(7)对于拉普拉斯核函数K(xi,xj)=e-||xi-xj||σ=φ(xi)·φ(xj)]]>Sigmoid核函数K(xi,xj)=tanh(βxiTxj+θ)=φ(xi)·φ(xj)]]>也可以证明拉普拉斯核函数与Sigmoid核函数也是将原始空间映射到无限维空间，因此也可以直接引入核函数。