[发明专利]一种基于引入隐藏信息极限学习机算法的智能分类方法

说明书

本发明涉及一种基于引入隐藏信息极限学习机算法的智能分类方法，包括步骤S1：在LUPI框架中，训练样本引入隐藏信息；S2：根据ELM原理，得出引入隐藏信息后的ELM+的最优表达式；S3：利用拉格朗日乘子法求解该最优表达式，得出ELM+的输出方程；S4：得出利用ELM+解决二分类问题时以及解决多分类问题时的决策方程；S5：将待预测样本代入所述决策方程，输出类别标签，进行分类。本发明以极限学习机算法为基础，通过在LUPI框架下，在训练阶段利用训练样本及其隐藏信息共同求解输出权值，来进一步提高传统ELM算法的识别性能，是一种整体性能更优、适用领域更广、识别结果更符合实际需求的智能分类器设计方法。

技术领域

本发明属于模式识别智能分类器领域，特别是涉及一种基于引入隐藏信息极限学习机算法的智能分类方法。

背景技术

传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数，并且很容易产生局部最优解。此外，传统神经网络学习算法还存在前馈神经网络训练速度慢，容易陷入局部极小值点，学习率的选择敏感等缺点。

极限学习机(extreme learning machine)ELM是一种简单易用、有效的单隐层前馈神经网络(SLFNs)学习算法，由Huang等人于2004年提出。极限学习机只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因此极限学习机具有结构简单，学习速度快，良好的全局搜索能力以及泛化能力等优点，在异常行为检测与异常识别领域有广泛应用。

2011年，G.B.Huang对极限学习机方法进行了综述，他指出极限学习机方法的最大优点是其高效的学习过程，而需要继续改进的难点问题主要包括两个方面：一是针对具体应用，如何提高系统识别率；二是如何对隐层节点结构进行优化。

近年来，针对极限学习机存在的问题，通过利用样本集中的隐藏信息来改进传统的分类学习已成为机器学习领域的一个热点。最近，Vapnik提出了一种解决这种问题的新方法称之为Learning Using Privileged Information(LUPI，特权信息学习)和LearningWith Structured Data(LWSD，结构数据学习)。但该算法忽略了隐藏信息，数据集中的一些隐藏信息不能被有效利用，仍然会导致分类方法准确度不高的问题。

目前，处理高维数据成为了一个热门话题，在处理高维数据的时候传统算法往往会采用降维的方式将高维数据降到低维空间中再进行分类。但是，数据集中的一些隐藏信息不能被有效利用，因此导致传统的分类方法存在分类准确度不高的问题。

鉴于此，本发明基于上述的LUPI和LWSD优化规则，对现有ELM算法进行改进，提出了引入隐藏信息(PrivilegedInformation)的极限学习机方法，我们称之为ELM+。此方法有效地利用了这些隐藏信息，从而有效地提高了分类的准确性。

发明内容

为了解决现有技术中存在的传统分类方法准确度不高的问题，以及基于LUPI和LWSD的算法忽略隐藏信息、分类准确仍不高的问题，本发明提供了一种基于引入隐藏信息极限学习机算法的智能分类方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于引入隐藏信息极限学习机算法的智能分类方法，包括以下步骤：

S1：在LUPI框架下，向训练样本中引入隐藏信息，构造新的训练样本；

S2：根据ELM原理，将引入隐藏信息的新的训练样本代入ELM算法公式，得出引入隐藏信息后的ELM+的表达式，所述ELM+的表达式为最优化方程式；

S3：利用拉格朗日乘子法求解该最优化方程式得到最优解，即ELM+的输出方程；

S4：将上述ELM+的输出方程代入基本二分类及多分类问题决策方程，得出利用ELM+解决二分类问题时以及解决多分类问题时的决策方程；