[发明专利]一种基于元学习的领域增量方法

说明书

本发明公开了一种基于元学习的领域增量方法，包括如下步骤：S1、构建预训练模型；S2、用预训练模型训练旧模型；S3、训练新模型。本发明采用随机保留的5％的记忆数据和新数据混合微调训练新模型，同时还采用交叉熵损失函数和知识蒸馏损失函数联合指导新模型的学习，使其在记住旧领域的分类知识的同时，学习新领域数据的分类知识，大大减少数据存储和训练时间的开销。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于元学习的领域增量方法。

背景技术

随着深度学习的兴起,基于卷积神经网络的物体分类方法飞速发展，识别准确率得到很大提高。然而，基于卷积神经网络的方法也有缺陷：当测试的图片数据分布与训练图片数据分布不一致时，如光照、背景、姿态等发生变化，模型的准确率会下降。因此，当出现新的领域数据，即与原来的训练数据分布不一致的数据时，需要模型能够增量地学习新的领域分类，也就是在记住旧领域数据的分类同时学习新的领域知识分类。

目前，最直观的领域增量学习方法是用新领域的数据继续训练模型，但该方法往往存在精度不能满足要求的情况：如果训练不足，对于新领域数据准确率不高；如果训练过度，对于旧领域数据准确率则会下降，二者难以调和。而如果将旧领域数据和新领域数据直接混合重新训练卷积神经网络，则数据存储和训练时间都开销巨大，尤其是实际中随着新领域数据越来越多，开销将越来越大。因此，找到一种能够以低开销代价，获得高精度性能的领域增量识别方法尤为重要。

发明内容

为解决上述问题，本发明提供了一种基于元学习的领域增量方法。

本发明采用以下技术方案：

一种基于元学习的领域增量方法，包括如下步骤：

S1、构建预训练模型：利用元学习方法iTAML，选择若干公开的数据集作为元数据，构造元任务并学习一个预训练模型，获得所述预训练模型的参数φ，所述预训练模型为卷积神经分类网络；

S2、用预训练模型训练旧模型：构建一个与所述预训练模型相同类型的分类模型作为旧模型，将所述预训练模型的参数φ导入所述旧模型，并使用交叉熵损失函数指导旧数据D_old训练所述旧模型，训练结束后，随机采样保留5％的旧数据D_old作为记忆数据D_memory；

S3、训练新模型：用所述记忆数据D_memory和新数据D_new一起混合训练所述旧模型，对于新数据D_new使用交叉熵损失函数指导模型学习，对于记忆数据D_memory使用交叉熵损失函数和知识蒸馏损失函数联合指导模型学习，从而得到新模型。

进一步地，所述卷积神经分类网络为VGG、ResNet、MobileNet、DenseNet或SENet中的一种。

进一步地，步骤S1中所述元学习方法iTAML的训练过程为增量式，共训练T个阶段，T为总任务数，t表示第t个任务；

当t＝1，用交叉熵损失公式正常训练任务1的数据，得到预训练模型参数φ₁，所述交叉熵损失公式如下：

其中，D_t表示属于第t个任务的数据集，共有N个样本，x_i为其中一个，p_i表示模型对x_i的预测值，y_i表示真实标签值；