[发明专利]用于训练用于图像分类的模型的方法和设备

说明书

提供了用于训练用于图像分类的模型的方法和设备。用于图像分类的模型的训练方法包括：接收基础任务的基础类的第一图像样本集；基于第一图像样本集训练模型，以从训练后的模型获得针对基础任务的基础类的基础分类权重；顺序地接收多个新任务；以及在接收到所述多个新任务中的任意一个新任务时：接收所述任意一个新任务的新类的第二图像样本集，基于基础分类权重、针对所述多个新任务中的先前接收到的一个或多个其他新任务的新类的一个或多个其他新分类权重、第一图像样本集和第二图像样本集中的一个或多个来训练权重生成器，以获得针对所述任意一个新任务的新类的新分类权重，以及利用针对所述任意一个新任务的新类的新分类权重来更新所述模型。

本申请基于并要求于2020年8月27日在美国专利和商标局(USPTO)提交并被分配第63/071,067号的美国临时专利申请的优先权以及于2021年1月22日在美国专利和商标局(USPTO)提交并被分配第17/156,126号的美国非临时专利申请的优先权，所述美国临时专利申请和美国非临时专利申请的内容通过引用包含于此。

技术领域

本公开总体涉及机器学习方法，更具体地，涉及用于训练用于图像分类的模型的方法和设备。

背景技术

在机器学习领域内，可能难以累积足够的数据来提高模型的准确性。在有限数据场景中，已经采用少样本学习算法来发现数据中的模式并做出推断。该技术通常用于对照片进行归类或分类的计算机视觉领域。

在少样本学习任务(其中，N是类的数量并且K是每个类中的样本(或图像)的数量)中，提供了小的训练集D。训练集的大小为|D|＝N·K。

可利用基础训练集D₀来学习用于改进的少样本学习的可转移知识。基础训练集D₀包含来自大量的类的大量的标记样本。然而，基础训练集D₀中的类与训练集D中的类不同。因此，传统的少样本学习利用少量的训练数据或样本而不利用基础类对模型进行训练。

片段(episode)表示一个少样本学习任务的训练和测试对。图1是示出片段化(episodic)少样本学习方法的示图。第一训练任务102、第二训练任务104和第一测试任务106各自包括具有三个类(N＝3)和每个类两个样本(图像)(K＝2)的相应的支持集108、110和112。第一训练任务102、第二训练任务104和第一测试任务106各自还包括具有三个样本(图像)的相应的查询集114、116和118。第一训练任务、第二训练任务和第一测试任务中的每个中的类不同。

基于度量的训练算法和基于梯度的训练算法二者是在片段化学习框架之上开发的。例如，可将自监督损失添加到特征提取器训练过程，以实现鲁棒的语义特征学习并改进少样本分类。此外，可添加基于Wasserstein的方法以更好地将特征的分布与考虑的类的分布对齐。然而，如上所述，传统的少样本学习没有考虑在训练中使用的基础类。

已经开发了不遗忘基础类的少样本学习以在仅针对新类提供少量标记样本时对新类进行分类，同时还保留对特征嵌入网络在其上被训练的基础类进行分类的能力。例如，特征嵌入网络和针对基础类的分类权重通过常规监督学习进行预先训练，并且之后是固定的。

图2是示出专注于生成针对新类的分类权重的不遗忘基础类的少样本学习的示图。样本或测试图像202被提供给特征提取器204，特征提取器204将样本的特征输出到分类器206。分类器206从基础类的训练数据210获得基础分类权重(或者，针对基础类的分类权重)208。少样本分类权重生成器212针对新类别的有限训练数据216生成新分类权重(或者，针对新类的分类权重)214，并将新分类权重214提供给分类器206。