[发明专利]一种基于数据保护的图像增量学习方法

说明书

本发明提供一种基于数据保护的图像增量学习方法，该方法以深度卷积神经网络ResNet为基础，充分利用外部海量图像的信息，对其进行采样并加入训练过程，来缓解新旧样本不均衡所带来的偏差和灾难性遗忘，外部数据即采即用，训练后直接丢弃，不占用存储空间。同时加入针对于各个任务阶段的输出，提取关于任务的特征，提高模型的性能表现。本发明所提出的增量学习方法突破了传统方法的限制，能够灵活广泛地适应多种实际场景的需求，在计算机视觉领域具有重要的研究和应用价值。

技术领域

本发明涉及计算机视觉技术和增量学习方法领域，更具体地，涉及一种基于数据保护的图像增量学习方法。

背景技术

近年来，随着深度学习和神经网络的不断发展，深度卷积神经网络已经广泛应用于解决图像识别任务。其中包括目前非常流行的AlexNet,VGGNet,ResNet等，在各类大规模的图像识别比赛中取得了出色表现，并成为许多计算机视觉相关研究和应用的基础网络架构。

训练这些包含大量参数的深度模型，通常需要大量且均衡的真实图像数据进行联合训练，从而使得复杂模型能够很好的拟合数据。在现实场景中，任务的规模通常随时间增长，而过去的训练数据由于存储有限或涉及隐私的原因，在后续的训练中不可重用。若仅使用新任务的数据训练已有的模型，将导致灾难性遗忘，即模型在过去任务上的性能会急剧下降。

而增量学习正是为了解决这一问题，从而达到在一系列的学习任务中，模型能有更为均衡的表现。近年来，相关算法的研究也取得了较大的进展，典型的包括EWC(ElasticWeight Consolidation),LwF(Learning without Forgetting),iCaRL(IncrementalClassifier and Representation Learning),EEIL(End-to-End Incremental Learning)等。其中EWC通过统计信息来衡量模型参数的重要性，通过对较为重要的参数的改变加以限制，来缓解灾难性遗忘；LwF在微调模型的基础上，首先使用了知识蒸馏来提取过去模型中的信息；iCaRL作为近期较为先进的增量学习算法，则引入了有限的内存对过去的训练数据进行选择性存储，并使用NEM(nearest-exemplars-mean)分类器进行图像识别；EEIL在iCaRL的基础上加入了数据均衡的微调训练阶段，同时改为使用全连接层的预测输出进行图像分类。

然而，基于有限内存的方法虽然表现更为出色，其适用性却受到一定的限制。在许多场景中，训练数据经过首次的模型训练后便不可重用，因此产生了一些基于生成类似过去数据来缓解灾难性遗忘的算法，但是这些生成模型本身也存在着遗忘问题。

而当前互联网上存在着大量可用的、与训练任务本身无关的数据，若对这些数据进行采样利用，在训练完毕模型后丢弃这些外部数据，便可以解决以上的问题，即不占用额外内存，同时缓解了数据的不均衡。目前国内外的相关研究还处于较为初步的阶段，本专利通过调研和实践，充分利用外部数据和模型融合进行图像的增量学习识别。

申请号为201911308607.5的专利说明书中公开了一种基于动态修正向量的图像增量学习方法，本申请鉴于实际生活中数据集都是动态变化的，为了解决深度模型对动态变化的数据集进行训练的问题，减小对分布式计算系统的依赖，并且节省大量的计算开销和系统内存，本发明提出以32层残差网络ResNet-32为基础，通过引入知识蒸馏技术和代表性记忆方法，利用动态修正向量的技巧，缓解了灾难性遗忘问题，提高了增量学习的性能。这种增量学习方法适应了实际应用场景的需求，在人工智能领域具有重要的研究和应用价值。然而，该专利无法实现充分利用外部海量图像的信息，对其进行采样并加入训练过程，来缓解新旧样本不均衡所带来的偏差和灾难性遗忘，外部数据即采即用，训练后直接丢弃，不占用存储空间。

发明内容

本发明提供一种基于数据保护的图像增量学习方法，该方法深度卷积神经网络ResNet为基础，充分利用外部海量图像的信息，对其进行采样并加入训练过程，来缓解新旧样本不均衡所带来的偏差和灾难性遗忘，外部数据即采即用，训练后直接丢弃，不占用存储空间。