[发明专利]训练元学习网络的装置和方法

说明书

公开了一种训练元学习网络的装置和方法。训练分类模型的装置包括：获得任务网络实例单元，获得任务神经网络的多个任务网络实例；获得损失单元，获得每个任务网络实例的损失；采样单元，对损失进行采样；计算泛化损失单元，计算反映总体损失的泛化损失；计算梯度单元，计算采样后的多个损失中的每个损失对应的任务网络实例的权重参数的梯度；学习单元，将梯度分别输入到一个元学习网络，获得权重参数的更新量；第一更新单元，基于更新量，更新任务网络实例的权重参数；以及第二更新单元，基于在满足预定条件时的泛化损失，训练元学习网络，其中，基于更新后的元学习网络，迭代地上述单元中的处理，直到满足第一迭代终止条件为止。

技术领域

本公开涉及信息处理领域，具体涉及一种训练元学习网络的装置和方法、以及利用训练得到的元学习网络对神经网络进行训练的装置和方法。

背景技术

神经网络得到了学术与工业界的广泛认可。在有时效性和少样本的应用场景下如何有效地学习神经网络的权重参数，尤其成为当前的技术热点。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

鉴于以上问题，本公开的目的是提供能够解决现有技术中的一个或多个缺点的训练元学习网络的装置和方法、以及利用训练得到的元学习网络对神经网络进行训练的装置和方法。

根据本公开的一方面，提供了一种训练元学习网络的装置，包括：获得任务网络实例单元，被配置成针对用于不同任务的多个任务神经网络中的每个任务神经网络，获得该任务神经网络的多个任务网络实例，其中，所述不同任务具有相似性；获得损失单元，被配置成利用训练数据，分别获得每个任务神经网络的每个任务网络实例的损失；采样单元，被配置成对所述损失进行采样从而得到采样后的多个损失；计算泛化损失单元，被配置成基于所述采样后的多个损失，计算反映所述采样后的多个损失的总体损失的泛化损失；计算梯度单元，被配置成计算所述泛化损失相对于所述采样后的多个损失中的每个损失对应的任务网络实例的权重参数的梯度；学习单元，被配置成将所述梯度分别输入到至少一个元学习网络中的一个元学习网络，从而分别获得与所述采样后的多个损失中的每个损失对应的任务网络实例的权重参数的更新量，其中，所述元学习网络是对梯度进行学习的神经网络；第一更新单元，被配置成基于所述更新量，更新与所述采样后的多个损失中的每个损失对应的任务网络实例的权重参数；以及第二更新单元，被配置成在迭代地进行所述获得损失单元、所述采样单元、所述计算泛化损失单元、所述计算梯度单元、所述学习单元以及所述第一更新单元中的处理之后满足预定条件时，基于在满足所述预定条件时的所述泛化损失，使得朝向任务网络实例的损失更小的方向训练所述至少一个元学习网络，从而获得更新后的至少一个元学习网络，其中，基于通过所述第二更新单元更新后的至少一个元学习网络，迭代地进行所述获得损失单元、所述采样单元、所述计算泛化损失单元、所述计算梯度单元、所述学习单元、所述第一更新单元、以及所述第二更新单元中的处理，直到满足第一迭代终止条件为止。