[发明专利]支持多任务和跨任务的小样本分类训练方法及装置

说明书

本申请公开了一种支持多任务和跨任务的小样本分类训练方法及装置，所述方法包括：形式化类比，将小样本分类问题中的分类任务形式化成标准分类问题中的样本,并将小样本分类的目标形式化成给定大量任务样本的情况下学习一种任务解决器(能够估计任务是否完成)；2)模拟标准分类问题中的批训练技术(每次迭代处理每个类别中的一些样本)，提出一种多任务(multi‑episode)的小样本分类训练算法(每次迭代处理多个任务类别中的一些任务样本)；3)模拟标准分类问题中的预训练技术(在大规模数据上为类似小规模数据任务预先训练一个基本模型)，提出一种跨任务(cross‑way)的小样本分类训练算法(在多类别(高way)问题上为小类别(低way)问题预先训练一个基本模型)。

技术领域

本申请实施例涉及深度学习、图像分类和计算机视觉处理技术，尤其涉及一种支持多任务和跨任务的小样本分类训练方法及装置。

背景技术

最近几年，得益于深度学习技术的发展，大规模监督学习取得了突破性进展，尤其是图像识别领域，例如ImageNet数据集上的精度由2012年的50％多上升到80％，机器的人脸识别正确率甚至超过了人眼。但是深度学习成功的背后，是对大数据集的依赖。而现实情况下，例如，交通事故自动识别、军事敏感目标分类以及医药分子毒性测试问题中，能够获取的样本都非常稀少。此时直接使用传统的深度学习技术进行训练非常容易产生过拟合问题。

如何在小样本下开展深度学习成为新的研究课题。小样本分类旨在模拟人类能够通过少量先验数据学习新概念的能力。人类之所以具备这种能力，主要原因就在于，人类能够从已有任务中学习知识，并将其应用到未来的模型训练。受到人类学习的启发，通用的做法是采用辅助的元学习或学会学习的模式训练小样本分类，以采用基于优化的方法学习可迁移的初始条件或采用基于记忆的方法和基于距离的方法学习可迁移的特征嵌入，然后再通过学习到的优化策略fine-tune求解目标小样本分类问题或在不更新网络权重的情况下直接前向计算求解目标小样本分类问题。

这些元学习模式已经在小样本分类中取得了重要的进展。其中最为有效的元学习模式都采用了基于episode的训练框架，每个episode中包含一个小的标记支撑集以及一个对应的查询集，以模拟测试环境下的小样本设置来增加模型的泛化能力。在这种基于episode的训练框架中，小样本分类可以被看成是通过在大量分类任务(给定一个小的标记支撑集的情况下分类一个未标注查询样本)上训练学习完成分类任务的能力。基于该视角，训练数据并不受限，而是非常巨大的，例如在Omniglot数据集上考虑5-way小样本分类问题，将会有C₁5₂₀₀种任务，因此可以将小样本分类问题视为一种标准的分类问题。

但现有技术缺乏对该视角的形式化解释，从而无法充分利用标准分类问题中的学习技术快速从海量的任务中学习一种通用的知识。

发明内容

有鉴于此，本申请实施例提供一种支持多任务和跨任务的小样本分类训练方法及装置。

根据本申请的第一方面，提供一种支持多任务和跨任务的小样本分类训练方法，包括：

将小样本分类问题中的分类任务转换为标准分类问题中的样本，并将小样本分类的目标形式转换为给定大量任务样本的情况下学习一种任务解决器；

模拟标准分类问题中的批训练处理方式，每次迭代处理每个类别中的一些样本，采用多任务的小样本分类训练算法，每次迭代处理多个任务类别中的一些任务样本；

模拟标准分类问题中的预训练处理方式，在大规模数据上为类似小规模数据任务预先训练一个基本模型，采用跨任务的小样本分类训练算法，在多类别问题上为小类别问题预先训练基本模型，并利用预先训练基本模型对小类别问题进行微调。

在一些实施例中，所述将小样本分类的目标形式转换为给定大量任务样本的情况下学习一种任务解决器，包括：