[发明专利]基于一致正则化的在线超限学习机目标识别方法及系统

说明书

本发明公开了一种基于一致正则化的在线超限学习机目标识别方法及系统，本发明包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤：针对训练图像进行特征提取，得到相应的图像特征集，并将图像特征集随机划分为多个特征子集；对所划分的特征子集，分别生成对应的近邻特征样本；将一致正则化约束引入在线超限学习目标优化函数，随机生成首先单隐层前馈神经网络的隐层节点参数，选取任一特征子集及其邻近样本进行初始化网络权重生成，基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。本发明具有噪声容忍性强、分类识别精度高、学习速度快、任务可扩展性好的优点。

技术领域

本发明涉及图像分类、目标识别技术领域，具体涉及一种基于一致正则化的在线超限学习机目标识别方法及系统。

背景技术

超限学习机（extreme learning machine，ELM）是一种高效、泛化、最初以单隐层前馈神经网络为基础的神经网络学习算法。超限学习机理论的提出受生物学习启发并试图解释回答生物神经元在学习过程中是否需要调整的基本问题。在其提出后不久，哈佛大学、斯坦福大学、麻省理工大学、IBM沃森等知名研究机构相继在鼠的嗅觉系统、猴的视觉系统以及人的感知系统中得到直接或间接验证。超限学习机理论的核心内容为：具有非线性分段连续响应的隐层节点的单隐层前馈神经网络，可以不需调整隐层节点参数即可任意逼近连续目标函数。通过超限学习机理论分析证明，单隐层前馈神经网络的训练可以转化为对特定线性系统最小二乘解的求解，以解析式的矩阵运算代替传统的迭代式梯度下降，从而使得应用超限学习机原理训练随机神经网络，具备计算快速可满足实时学习、待人工设定的学习参量少、准确度高和泛化能力良好等突出优势。在3D图形分割、交通路标识别、语音情感识别、机器人学习控制、人脸识别、手势识别等任务中，超限学习机均有广泛应用且效果显著。

但是，由于浅层网络结构的特征表示能力很差，传统的超限学习机无法处理复杂的视觉任务，尤其是在原始像素空间中。针对这一问题，许多工作通过堆叠自动编码器（stacked auto-encoder），核方法或多层随机局部接收域（local receptive region）探索了潜在的解决方案。受相关网络模型复杂度和模型容量的限制，这些方法与基于梯度下降的深度神经网络方法还存在差距。因此，基于深度神经网络的超限学习机通过深度神经网络的提取高级特征，然后输入到超限学习机训练得到的单隐层前馈神经网络分类器中进行分类已经逐渐成为一个主要技术方向。然而，尽管基于深度网络特征的超限学习机所训练得到分类器，其分类性能和效率得到显著提高，但其会受到输入及其对应标签中存在的噪声的影响，并导致不可避免的性能退化。造成这一问题的原因往往在于传统的超限学习机存在先天不足，即传统的超限学习机仍基于经验风险最小化，在噪声干扰下很可能会出现过度拟合的。因此，基于传统超限学习机的目标识别技术的效果性能还远远不能令人满意，往往需要通过引入一定的正则化约束来进行改进。例如，针对离群值环境下的在线学习问题，提出一种鲁棒正则化贯序超限学习机RR-OSELM。RR-OSELM以增量学习新样本的方式实现在线学习，并在学习过程中基于样本的先验误差进行逆向加权计算以降低学习模型对于离群值的敏感性；针对非平稳时间序列预测问题，提出一种具有广义正则化与遗忘机制的在线贯序超限学习机算法.该算法以增量学习新样本的方式实现在线学习，以遗忘旧的失效样本的方式增强对非平稳系统的动态跟踪能力，并通过引入一种广义的l2正则化使其具有持续的正则化功能，从而保证算法的持续稳定性；针对大规模在线学习问题，提出一种二维分割贯序正则化超限学习机(BP-SRELM).BP-SRELM以在线贯序超限学习机为基础，结合分治策略的思想，从实例和特征两个维度对高维隐层输出矩阵进行分割，以降低问题求解的规模和计算复杂性，从而极大地提高对大规模学习问题的执行效率。同时，BP-SRELM通过融合使用Tikhonov正则化技术进一步增强其在实际应用中的稳定性和泛化能力。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于一致正则化的在线超限学习机目标识别方法及系统，旨在实现噪声容忍性强、分类识别精度高、任务可扩展性好的在线超限学习机目标识别。