[发明专利]一种基于改进有效集算法优化的极限学习机二元分类方法

说明书

技术领域

本发明属于神经网络技术领域，具体涉及一种基于改进有效集算法优化的极限学习机二元分类方法。

背景技术

人们日常生活的方方面面中，绝大部分的实际问题都可以转换成一个分类问题，分类器的性能往往是一个应用成果与否的关键。机器学习的研究成果被广泛应用到分类器中，因此，不断提高分类器的分类性能已经成为了当今机器学习的主流研究方向。

极限学习机(Extreme Learning Machine，ELM)是新加坡南洋理工大学的黄广斌教授提出来的，利用极限学习机解决二元分类问题，使得人工智能的发展更进一步。这种算法是针对SLFNs(即单隐层前馈神经网络)的监督型学习算法，其主要思想是：输入层和隐藏层之间的权值参数，以及隐藏层上的偏置向量参数是一次性设置的，不需要像其他基于梯度的学习算法一样通过迭代反复调整刷新，求解很直接，只需要解一个最小范数的最小二乘问题，从而最终划归成求解一个矩阵的Moore-Penrose广义逆问题。因此，该算法具有训练参数少、速度非常快等优点。在接下来的一段时间，其团队在ELM的基础上又做了更多的发展，其中最优化极限学习机(OELM)就是其中的重要内容。训练OELM的核心是包含了凸二次规划问题，OELM已经在很多应用中很优越地显现出对用户设置的参数不敏感，但是由于密集海森矩阵问题，OELM计算优化过程的代价相对复杂。

优化OELM常利用利用BAS有效集算法。BAS有效集法通过迭代求解子优化问题求得原始优化问题的最优解。有效集法是一种增量迭代方法，迭代的过程就是不断识别正确的有效集和工作集的过程，当工作集和有效集都被正确识别出时，优化问题得到最优解。虽然有效集方法在很多基准数据集和不同性能指标测试中表现出了高效性，但是这些有效集方法的识别策略仍然存在两个问题：

(1)迭代次数较多。在识别有效集过程中，由于采用单方向下降策略，每次迭代的识别阶段只能识别一个有效集变量。对于N个训练样本，通常会产生O(3N/2)次迭代，迭代次数过多显然会影响样本训练的时间。

(2)误迭代率较高。有效集算法通常先正确识别完所有有效集变量，才开始识别工作集变量。如果上次迭代结束时所识别的有效集变量在本次迭代后仍然判定到边界约束上，那么此次迭代称为误迭代，误迭代会增加算法的计算代价。

由于传统BAS有效集算法的缺点使得现有的极限学习机进行优化时存在计算时间长、误迭代次数高的问题。

发明内容

本发明的目的是提供一种基于改进有效集算法优化的极限学习机二元分类方法，实现对极限学习机进行高效优化，解决了现有技术存在的计算时间长、误迭代次数高的问题。

本发明采用的技术方案是，一种基于改进有效集算法优化的极限学习机二元分类方法，包括以下步骤：

步骤一，给定训练样本集，优化求解问题；

训练样本集为一个含有N个样本的训练样本集和t_i∈{-1,+1}；求解问题的求解式及限制条件为

Minimize:12||β||2+CΣi=1Nξi]]>

Subject to:t_iβ·h(x_i)≥1-ξ_i   式(1)

ξ_i≥0,i＝1,...,N

其中，||·||表示欧几里得范数，β为法向量，h(x_i)表示m维训练样本输入映射到ELM特征空间的函数，C是人工设置的参数；

根据KKT定理和拉格朗日乘子理论确定优化的求解问题为