[发明专利]一种核增量型超限学习机、差分多种群灰狼混合优化方法

说明书

本发明属于数据分析技术领域，公开了一种核增量型超限学习机、差分多种群灰狼混合优化方法；针对核增量型超限学习机(KI‑ELM)存在学习效率较低及准确性差的冗余节点的问题；本发明首先利用差分进化算法和多种群灰狼优化算法，提出一种混合智能优化算法——差分多种群灰狼优化算法，对隐含层节点参数进行优化，确定有效的节点数量，以降低网络复杂度，提升网络的学习效率；其次将深度结构引入到核增量型超限学习机中，对输入数据进行逐层抽取，实现数据高维映射分类，提高算法的分类精度和泛化性能。仿真实验结果表明：本发明所提出的混合智能的深度核增量型超限学习机具有良好的预测精度和泛化能力，网络结构更为紧凑。

技术领域

本发明属于数据分析技术领域，尤其涉及一种核增量型超限学习机、差分多种群灰狼混合优化方法。

背景技术

目前，业内常用的现有技术是这样的：人工神经网络通过对生物神经元网络进行抽象模拟对数据进行分析，从而实现数据分类、系统辨识、函数近似以及数值估计等功能。但传统的单隐层前向神经网络(SingleHiddenLayerFeedforwardNeuralNetworks，SLFNS)训练效率低，学习能力不强，在学习算法中需要更新网络的所有参数。一种超限学习机(ExtremeLearningMachine，ELM)算法，相对于传统的神经网络，ELM中的隐层节点参数均随机产生，避免繁琐的迭代过程，并且其输出权值是通过矩阵的广义逆求解而得到。在保证网络学习性能和网络结构良好泛化性能的基础上，ELM极大的提高了训练样本的训练速度，避免了局部极小和收敛速度慢等问题。一种标准优化方法，将ELM用于分类问题，然后证明了将ELM用于任意多分类问题的可行性，取得了良好的实验结果。同时，为进一步提高ELM的性能，引入类别权值，使得ELM可以用于解决非平衡学习等复杂问题。目前，在人脸识别、语音识别、车牌识别、电力系统模式识别领域ELM得到了广泛的应用，但由于识别类别标签较多。训练样本较少、特征描述不充分等特点，使得ELM在传统分类时会出现识别准确率不理想的情况。因此，如何保证ELM自身训练速度快、学习性能好等优点的前提下，进一步提升ELM的整体分类性能和识别准确率成为目前研究的热点。传统的超限学习机通常采用较高维数的网络结构以获取较强的学习能力，但最优隐含层节点数目以及控制模型规模等问题难以解决，针对此问题，提出增量型超限学习机(IncrementalExtremeLearningMachine，I-ELM)，采用相应的增量型算法自适应选择隐含层节点数目，并且实时更新输出权值。Huang对I-ELM算法进行优化改进，利用优化算法选取有效隐层节点构造网络，提出了EnhancedIncrementalExtremeLearningMachine，EI-ELM)，一定程度上降低了ELM的网络复杂度。可是网络规模过大时，EI-ELM的循环次数大幅度增加，影响泛化能力。提出Barron优化的超限学习机(ConvexIncrementalExtremeLearningMachine，CI-ELM)，重新计算隐含层节点增加后的现有节点输出权值，以获取较高的收敛速率。一种混合增量式超限学习机，利用混沌优化算法对隐含层节点参数进行优化。然而，目前的I-ELM仍然存在一下急需解决的问题：如冗余节点过多导致网络结构过于复杂，降低了学习效率；收敛速率较低，隐含层节点数目超过学习样本数目；对新数据较为敏感，在线预测能力不强。ELM的训练速度和精度受相关参数组合方式影响，因此，如何一定程度上确定ELM的参数组合同时也成为了目前研究的热点方向。基于仿生学的智能优化算法优化组合ELM算法以提高其训练速度和精度性能已经成为当今的研究热点。基于差分进化算法提出进化超限学习机；采用自适应差分进化算法优化隐层节点参数，然后采用MP广义逆求解输出权值；采用改进的粒子群算法优化隐层节点参数；一种混合智能超限学习机，利用差分进化和粒子群算法混合优化隐层节点参数。然而混合智能优化算法存在以下两个问题：差分进化算法全局寻优能力较强但会出现早熟收敛，粒子群算法可进行局部寻优但速度较慢。目前，深度学习和ELM相结合成为ELM又一个研究热点，借鉴于深度学习优越的特征提取能力，提高ELM的参数性能。提出一种多层超限学习机，兼容深度学习优秀的特征提取能力以及ELM快速的训练能力；引入核函数，提出一种深度核超限学习机，并且将其用于航空发动机部件故障诊断，以提高诊断精度。