[发明专利]一种基于元学习的快速适应DRBM方法

说明书

本发明属于机器学习领域，具体涉及一种基于元学习的DRBM方法，通过改进网络的训练‑测试算法，将算法分为元学习和模型学习两个阶段。在元学习阶段利用训练任务更新网络参数，并将更新后的网络参数作为模型学习阶段的网络参数初始值，使网络参数初始值能够使网络训练的损失函数下降更快并且更容易达到全局最优，在模型学习阶段利用测试任务更新网络参数并进行测试。该算法引入元学习的方法对DRBM的训练过程进行改进，使网络参数的元学习阶段梯度下降方向为向“最适应”点下降，使得网络能够快速适应到一个新的任务中。

技术领域

本发明属于机器学习领域，具体涉及一种基于元学习(Meta Learning)的快速适应判别式受限玻尔兹曼机(Discriminative restricted Boltzmann machine,DRBM)方法。

背景技术

受限玻尔兹曼机(restricted Boltzmann machine,RBM)网络是机器学习中最流行的基础模型之一，也是深度神经网络中最为常用的基本组件。RBM可以利用其隐藏单元进行特征提取和学习数据概率分布并利用学习得到的概率分布生成新的样本，一直受到目标识别和概率模型等领域学者们的广泛研究。DRBM是RBM的一种拓展形式，其核心思想是在一定数量的样本集合中构建一个判别函数，将特征向量和标签一起作为RBM的输入进行训练，使RBM 具有分类的功能。

DRBM最早是由Hugo Larochelle和Yoshua Bengio于2008年提出的(LarochelleH,Bengio Y.Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machinelearning.ACM,2008:536-543.)，经过十余年的发展，对其进行过多次优化，已经有较为成熟的网络结构和训练算法。

对于DRBM网络的改进和优化主要可以分为学习算法优化和模型结构优化，元学习的快速适应DRBM网络属于学习算法上的优化。这种元学习方法使得经过DRBM网络训练得到的网络参数θ不再追求在特定训练集上表现最佳，而是追求在所有训练任务中的网络参数初始值θ₀都能够只通过几步就快速收敛到最优解。

基于元学习的快速适应DRBM算法的提出受到MAML(Model-Agnostic Meta-Learning, MAML)算法的启发。MAML算法由Chelsea Finn、Pieter Abbeel和Sergey Levine于2017年提出，是一种与模型无关的快速适应元学习算法，适用于任何一种基于梯度下降进行训练的模型，并且适用于各种学习问题，如分类、回归和强化学习。该方法在两种少样本(few-shot) 图像分类数据集(Omniglot和MiniImagenet)上取得了较好的性能，在少样本回归上取得了较好的效果，并利用神经网络策略加速了策略梯度强化学习的微调。

发明内容

本发明的目的是要解决小样本条件下DRBM网络欠拟合以及网络参数初始值无法使网络经过训练后达到全局最优的问题。

本发明的思路是通过改进网络的训练-测试算法，将算法分为元学习和模型学习两个阶段。在元学习阶段利用训练任务更新网络参数，并将更新后的网络参数作为模型学习阶段的网络参数初始值，使网络参数初始值能够使网络训练的损失函数下降更快并且更容易达到全局最优，在模型学习阶段利用测试任务更新网络参数并进行测试。该算法引入元学习的方法对DRBM的训练过程进行改进，使网络参数的元学习阶段梯度下降方向为向“最适应”点下降，使得网络能够快速适应到一个新的任务中。

本发明解决其技术问题所采取的技术方案是：一种基于元学习的快速适应DRBM方法，分为以下步骤：