[发明专利]基于改进的核极限学习机和GAN的自适应学习方法

说明书

本发明提出了一种基于改进的核极限学习机和GAN的自适应学习方法，属于域自适应技术领域。其首先通过基于改进的核极限学习机预训练一个分类器C，然后根据传统极限学习机得到源域和目标域特征映射，结合GAN自适应学习以最小化源域映射和目标域特征映射距离，使得源分类模型C可以直接应用于目标映射，能对来自不同领域没有标注的数据进行分类，从而消除学习单独的目标分类器的需要，提高了分类器的复用性，有效增强模型对新环境的适应性，并且还解决了现有KELM中逆矩阵不存在的情况下无法求解β值的问题，同时因无需调整惩罚系数C，进一步减少了优化网络的时间。

技术领域

本发明属于域自适应技术领域，涉及一种核极限学习机和GAN 的自适应学习的方法。

背景技术

机器学习是如今智能时代的一个重要研究方向，它的研究成果被广泛的应用到各个领域，在人们的日常生活中占据着越来越重要的地位。但是目前的机器学习模型只处理训练数据和测试数据来自相同分布的情况，因此从训练数据中训练出的模型能直接应用于测试数据，在实际应用中，这种情况经常是不成立的[1]。另外，我们正处于一个大数据时代，每天各行各业，生活社交中都产生着大量的图像，文本，语音等数据。机器学习依赖这些数据来训练和更新模型，使得模型的性能越来越好。然而，数据虽多，但大都处于没有标注的原始形态。数据的标注不仅非常耗时并且十分昂贵。因此，如何利用相关领域标注好的数据使机器学习具有领域间自适应学习的能力，能充分利用其它相关领域知识，而不是一定总要获得足量的同领域标记数据来进行模式训练是近年来研究的热点[2]。域自适应学习对于该问题的解决具有突出贡献，其主要应用与源域和目标域的任务相同，但数据不同且相关的情况。这类学习的核心任务是解决两个域数据的差异问题，是迁移学习[3]的一个子类。

最近域自适应方法一般可以分为基于MMD的自适应方法和基于对抗性的自适应方法，其共同的最终目标是最小化源和目标分布之间的差异。对抗性学习方法是一种很有前途的训练鲁棒深网络的方法，可以在不同的领域产生复杂的样本[4]。域对抗性学习过程是一个两人博弈，其中第一个参与者是训练域鉴别器D以区分源域和目标域的，第二个参与者是同时训练能生成混淆域判别器的特征表示F[5]。通过博弈，域鉴别器D愈来愈精明，同时最小化两个域的距离。

2004年，黄广斌教授(新加坡南阳理工大学)等人[6]提出的一种无需迭代计算、执行速度快、泛化能力强的前馈神经网络，即极速学习机。不同于其他神经网络，极速学习机通过随机生成输入层权重和偏置值，直接求解出输出权重的最小二乘解，同时得到最终的训练模型。为进一步增强ELM的泛化能力和稳定性，Huang提出将核函数引入到ELM中，提出了KELM算法[7]，利用Mercer’s条件构造核矩阵替代HH^T。在KELM中，不需要知道隐含层特征映射h(x)，也不需要设定隐含层神经元数量，因而具有比ELM更好的泛化能力和稳定性,但会出现逆矩阵不存在的极端情况并且还需调整惩罚系数C。于是何春梅等于提出了基于共轭梯度算法的线性KELM网络，新算法无需计算逆矩阵，极大地提高了网络训练速度，并且节省了内存空间的占用。同时还可以在求解β中避免出现中逆矩阵不存在的极端情况，也无需调整惩罚系数C，从而进一步减少了优化网络的时间[8]。

基于改进的核极限学习机和GAN的自适应学习方法将基于共轭梯度算法的线性KELM网络和对抗性的自适应方法有效的结合在一起，继承了KELM在效率方面上的优势，同时对于实际应用中存在的样本难以获得标签，训练模型只能应用于特定任务等问题，提供了一种解决方案，增强了算法的推广能力，提高其实用性。

[1]Chen Y,Song S,Li S,et al.Domain Space Transfer Extreme LearningMachine for Domain Adaptation[J].IEEE Transactions on Cybernetics,2018:1-14.