[发明专利]一种基于元学习的领域增量方法

权利要求书

1.一种基于元学习的领域增量方法，其特征在于：包括如下步骤：

S1、构建预训练模型：利用元学习方法iTAML，选择若干公开的数据集作为元数据，构造元任务并学习一个预训练模型，获得所述预训练模型的参数φ，所述预训练模型为卷积神经分类网络；

S2、用预训练模型训练旧模型：构建一个与所述预训练模型相同类型的分类模型作为旧模型，将所述预训练模型的参数φ导入所述旧模型，并使用交叉熵损失函数指导旧数据D_old训练所述旧模型，训练结束后，随机采样保留5％的旧数据D_old作为记忆数据D_memory；

S3、训练新模型：用所述记忆数据D_memory和新数据D_new一起混合训练所述旧模型，对于新数据D_new使用交叉熵损失函数指导模型学习，对于记忆数据D_memory使用交叉熵损失函数和知识蒸馏损失函数联合指导模型学习，从而得到新模型。

2.如权利要求1所述的一种基于元学习的领域增量方法，其特征在于：所述卷积神经分类网络为VGG、ResNet、MobileNet、DenseNet或SENet中的一种。

3.如权利要求1所述的一种基于元学习的领域增量方法，其特征在于：步骤S1中所述元学习方法iTAML的训练过程为增量式，共训练T个阶段，T为总任务数，t表示第t个任务；

当t＝1，用交叉熵损失公式正常训练任务1的数据，得到预训练模型参数φ₁，所述交叉熵损失公式如下：

其中，D_t表示属于第t个任务的数据集，共有N个样本，x_i为其中一个，p_i表示模型对x_i的预测值，y_i表示真实标签值；

当t≥2，则初始化参数为上一阶段训练好的参数φ_base＝φ_t-1，分别取出任务1、任务2、...、任务t，共t个任务数据以φ_base为初始参数用交叉熵损失更新优化，得到对应任务的临时参数φ₁,φ₂,…φ_t，然后更新φ_base，当损失不下降时获得该阶段的最终结果参数φ_t＝φ_base，所述更新φ_base时采用如下公式：

最终，以获得的φ_T作为预训练模型的参数。

4.如权利要求1所述的一种基于元学习的领域增量方法，其特征在于：步骤S3中所述使用交叉熵损失函数和知识蒸馏损失函数联合指导模型学习时采用的是整体损失，其公式为：Loss＝loss_ce+loss_distill，其中loss_ce表示交叉熵损失，loss_distill表示知识蒸馏损失，

而loss_ce的求解公式如下：

其中，x_i∈D_memory∪D_new表示属于记忆数据或新数据的样本，共有N个，p_i表示模型对x_i的预测值，y_i表示真实标签值；

而loss_distill的求解公式如下：

其中，x_i∈D_memory表示属于记忆数据的样本，共有N个，q_i是旧模型关于数据x_i的预测值，p_i是训练中模型对x_i的预测值。