[发明专利]一种基于数据保护的图像增量学习方法

权利要求书

1.一种基于数据保护的图像增量学习方法，其特征在于，包括以下步骤：

S1：构造以ResNet网络为原型的图像特征提取器，然后添加全连接的任务预测层和图像分类层作为整体的网络架构；

S2：为每个阶段的增量数据训练单独的图像分类模型，其中图像分类损失使用交叉熵函数，任务预测损失使用均方误差函数，使用SGD优化器训练网络；

S3：对于不存储任何先前类别数据的场景，为避免灾难性遗忘和模型对于当前类别的预测偏向，使用先前模型对大量可用的外部数据进行采样；

S4：使用采样数据以及当前类别的训练数据，对新旧两个模型进行融合，使用知识蒸馏引入KL相对熵函数，训练可识别当前所有类别的模型；

S5：对于每一增量阶段，重复S2至S4步骤，评估模型时采用任务预测层和图像分类层输出结合的方式预测最终分类；

所述步骤S2的具体过程是：

S21：将训练集中的数据D₁关于图像分类层的输出通过softmax层，即根据原始的网络输出logits之间的相对大小关系，映射为关于各类别的预测概率，使用交叉熵函数作为图像分类损失，公式如下：

其中x表示当前类别的输入图像,y表示对应类别0/1标签，θ为模型参数；将训练集数据及外部数据D₂关于任务预测层的输出通过sigmoid函数，映射为是否为当前任务的判断概率，使用均方误差函数作为任务预测损失，公式如下：

其中y_t表示对应任务的0/1标签，即内部的训练数据标签为1，外部采样数据标签为0；

S22：在此步骤中的外部数据随机选取OOD图像；若可选的增加置信度校准损失来训练模型，即外部数据在图像分类层的输出值越平均则损失越小，可使得模型在当前任务中的表现有小幅度提升；

S23：使用SGD优化器训练关于当前任务的图像分类模型，学习率随训练epoch的增大而逐渐降低，同时加入关于模型参数的正则化项来防止过拟合，增强模型的泛化能力；

所述步骤S4的具体过程是：

S41：将步骤S3中的外部数据与当前类别的训练数据充分混合，组成当前完整的训练数据集D₃，其中外部数据集的采样数据量应与当前类别的训练数据量成一定比例，当数据量过大时，模型表现反而会下降，同时会增大训练的时间成本；

S42：将步骤S2中关于当前任务的单独模型，与关于过去任务的模型融合，使得融合后的模型能够识别已有的全部图像类型；

S43：由于训练集中只包含了关于新类的训练数据，将导致模型很容易将输入图像预测为新类别，为了缓解数据不均衡造成的预测偏差，为数据分配不同的权重，减小新类数据计算得到的梯度；

S44：使用SGD优化器训练关于当前所有任务的融合模型，学习率随训练epoch的增大而逐渐降低，其中，此步骤中模型的初始化参数继承旧模型的参数；

所述步骤S42的过程是：

将步骤S2中关于当前任务的单独模型，与关于过去任务的模型融合，使得融合后的模型能够识别已有的全部图像类型；

首先，对新类的训练数据使用交叉熵函数得到分类损失；其次，将所有数据D₃关于新/旧模型的分类层输出logits分别通过softmax层，得到关于旧类别和新类别的预测概率，作为融合后模型的“软标签”，对混合模型对应的新/旧类别输出分别通过softmax层，两个部分均使用KL散度函数进行知识蒸馏，来提取模型中过去的知识，公式如下：

其中表示已训练好的新/旧模型的输出概率，即“软标签”；对所有数据关于新/旧模型的任务预测层输出直接合并后作为标签，对混合模型的任务预测层输出使用均方误差函数计算损失，提取关于输入图像所在任务阶段的信息。

2.根据权利要求1所述的基于数据保护的图像增量学习方法，其特征在于，所述步骤S1的具体过程是：

S11：根据数据集中图像的复杂程度，包括尺寸和种类等，选择不同深度的ResNet网络进行特征提取；

S12：图像通过深度的卷积层后进行平均池化，得到一个低维的实数特征向量，在其后分别添加全连接的任务预测层和图像分类层，用于预测任务阶段以及具体的图像类别。