[发明专利]支持多任务和跨任务的小样本分类训练方法及装置

权利要求书

1.一种支持多任务和跨任务的小样本分类训练方法，其特征在于，所述方法包括：

将小样本分类问题中的分类任务转换为标准分类问题中的样本，并将小样本分类的目标形式转换为给定大量任务样本的情况下学习的任务解决器；

模拟标准分类问题中的批训练处理方式，每次迭代处理每个类别中的一些样本，采用多任务的小样本分类训练算法，每次迭代处理多个任务类别中的一些任务样本；

模拟标准分类问题中的预训练处理方式，在大规模数据上为类似小规模数据任务预先训练基本模型，采用跨任务的小样本分类训练算法，在多类别问题上为小类别问题预先训练基本模型，并利用预先训练基本模型对小类别问题进行微调。

2.根据权利要求1所述的方法，其特征在于，所述将小样本分类的目标形式转换为给定大量任务样本的情况下学习的任务解决器，包括：

对于标记训练数据集上的监督学习问题，该问题具有如下的目标函数：

其中，f_θ是具有参数集θ的特定网络，l是给定的损失函数；

对于定义在具有M个类别、每个类别具有H个样本的训练集上的标准分类问题，其中是D维的输入向量，y_i∈{1，2，…，M}是类别标号，D_j代表集合D中所有y_i＝j的样本(x_i,y_i)集合，f_θ是需要学习的分类器，通用的损失函数l(f_θ；x_i,y_i)是交叉熵，如下式(2)所示：

其中f_θ(x_i)_j代表f_θ(x_i)的第j个输出；

考虑在所述训练集D上的K-way S-shot学习问题，定义任务类别为包含M个类别中的K个索引的类别子空间V∈T，将每个任务类别V中的任务样本G(V):＝{(τ_i,y_i)}定义为支撑集S_V和对应的查询集Q_V中查询样本(x_i,y_i)的组合；假定RANDOMSAMPLE(C,N)表示从集合C中无放回地随机均匀采样N个样本，则V＝RANDOMSAMPLE({1,…,M},K)，每个任务样本(τ_i,y_i)被表示成(τ_i＝{S_V,x_i},y_i)，其中(x_i,y_i)＝RANDOMSAMPLE(Q_V,1)，

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

l(f_θ；τ_i,y_i)为原型网络的损失函数时，则有：

l(f_θ；τ_i,y_i)＝l(f_θ；S_V,x_i,y_i)＝-log p_θ(y＝y_i|S_V,x_i)(5)

其中，d:为距离函数；在给定τ_i＝{S_V,x_i}的情况下，式(5)表示的损失函数与式(2)表示的标准分类问题中的交叉熵损失相对应。