[发明专利]基于极限学习机的深度聚集式分类方法及系统在审
申请号: | 201910121909.5 | 申请日: | 2019-02-19 |
公开(公告)号: | CN109816046A | 公开(公告)日: | 2019-05-28 |
发明(设计)人: | 薛伟;周塔;杨平乐;杜晓明;张鑫;祝荣泉 | 申请(专利权)人: | 张家港江苏科技大学产业技术研究院 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 南京利丰知识产权代理事务所(特殊普通合伙) 32256 | 代理人: | 王锋 |
地址: | 215600 江苏省苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 极限学习机 聚集式 分类器 分类模型 构建 分类 堆叠 波动问题 泛化性能 分类结构 有效解决 中心聚集 单隐层 堆栈 瓶颈 淘汰 | ||
本发明公开了一种基于极限学习机的深度聚集式分类方法及系统,所述方法包括:S1、构建基于极限学习机的ELM分类器;S2、通过堆栈泛化原理,以单隐层的ELM分类器为基础,逐层构建G‑ELM深度聚集式分类模型,通过择优机制不断淘汰分类精度较低的ELM分类器,使G‑ELM深度聚集式分类模型朝高精度聚集中心聚集。本发明基于极限学习机的G‑ELM深度聚集式分类模型,在不改变极限学习机内部机制的情况下,通过堆叠泛化原理逐层构建具有一定深度的聚集式分类结构,不仅能有效解决传统极限学习机效率“瓶颈”和效率波动问题,而且通过堆叠泛化机制进一步增强分类器的泛化性能,有效提高了分类精度。
技术领域
本发明涉及机器学习技术领域,特别是涉及一种基于极限学习机的深度聚集式分类方法及系统。
背景技术
深度学习(DeepLearning),也称为深度神经网络(DeepNeuralNetwork,DNN)是机器学习领域的一项重要研究,其具有的多层隐含层非线性神经网络构架可以通过组合低层特征逐步形成抽象的数据高阶表示,帮助模型拟合各种复杂的数据。典型的DNN有深度信念网络、卷积神经网络和堆栈自编码,近年来,因其有效的特征学习能力被广泛的应用于语言识别和图像处理等智能领域。
堆栈泛化由Wolpert在1992年首次提出,是一种将一个或多个泛化器的泛化误差率最小化的方法,它通过推导泛化器相对于数据集的偏差来发挥作用。即在下一层中将上一层泛化器对数据集的预测进行泛化,然后试着对数据集剩余部分进行预测,并且输出正确结果。这种堆叠结构通常能获得比任何单个训练模型更好的性能。并且通过堆叠泛化构建出来的深度分类模型能始终保持与输入层神经元相同的特征,因此每个神经元都具有相同的数据空间。也就是保持了每个神经元具有与输入层相同的物理解释。并且通过堆叠方式有助于将原始输入空间的流形结构分开,以便更好的实现线性可分离。
传统的机器学习算法如BP神经网络,在分类问题上已经取得了显著的成果,但是随着大数据时代的到来,其弊端也日趋明显。首先,BP神经网络算法是通过不断的迭代来调整权值和阀值,当面对大样本时,高维度数据时这种学习方式会导致BP神经网络收敛速度很慢,通常需要极长的训练时间;其次,BP神经网络在迭代过程中找到的最优值有可能仅仅是局部最优值,并不能保证这个最优值就是全局最优值;再次,在隐含层的设定方面也没有理论依据,这就使得神经网络结构的庞大和臃肿,在大样本数据面前难以提高学习效率,实现良好的泛化性能。
针对这类学习速度慢、泛化性能差的缺点,新加坡南洋理工大学教授Huang GB提出基于单隐层前馈神经网络的极限学习机(ELM),这种算法有效弥补BP神经网络一系列缺点。该算法优点在于基础神经元的输入权值和隐层偏置是通过随机进行选择的,不需要通过反复迭代来进行调节,所以训练速度比传统的神经网络算法训练速度提高数千倍。
鉴于极限学习机学习速度快、泛化性能好等优点,引起国内外许多学者的研究。在2005年国外学者通过用差分进化算法对极限学习机的输入层权值和隐层偏置进行选择,这种算法在泛化性能上能达到让人满意的效果。2014年,国外又有学者将粒子群算法和极限学习机相结合,提出一种粒子群极限学习机,简称为PSO-ELM,这种粒子群极限学习机能很大程度上提高极限学习机的学习速度,和学习精度。与此同时国内学者也开展了对极限学习机的研究,并且取得一定成果。在2014年中国矿业大学学者将鱼群算法融合进极限学习机中,通过利用鱼群算法对极限学习机的输入层参数进行正则优化,同时用Cholesky方法来分解输出层矩阵。经大量实验证明这种算法能明显增强分类性能。2015年,贺彦林等人通过主成分析法(PCA)对极限学习机进一步改进,削弱了变量间的相关关系,,提高了算法的泛化性能。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于张家港江苏科技大学产业技术研究院,未经张家港江苏科技大学产业技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910121909.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种商品识别方法及装置
- 下一篇:提供标签的方法、装置、设备及可读存储介质