[发明专利]融合知识蒸馏的生成回放框架式的持续型图像识别系统和方法

说明书

本发明提供了一种融合知识蒸馏的生成回放框架式的持续型图像识别系统和方法，包括生成器和解决器；所述生成器包括特征生成模型和图像生成模型，分别对应不同的持续型图像识别需求和场景；所述解决器包括图像风格特征提取器和特征分类器，图像风格特征提取器负责提取图像中的视觉特征，特征分类器负责将特征向量分类。本发明可以在实际持续型的图像识别任务中，进一步提高识别的准确率，更有效的避免了模型的遗忘，特征生成的策略极大的降低了生成模型在生成回放框架中的可靠性要求，训练难度以及性能开销。

技术领域

本发明涉及信息技术领域，具体地，涉及一种融合知识蒸馏的生成回放框架式的持续型图像识别系统和方法。

背景技术

人工智能的连接学派作为认知科学，脑科学和计算机科学等领域的交叉学科，其诞生伊始主要建立在模仿人类的生理学习模式。从指纹解锁到天文导航，在软件化的工业实践方面，深度学习作为代表性的技术已经广泛应用于各个方面。然而工业化的发展，使得深度学习的实践离模仿人类学习的初衷渐行渐远。人类非常善于对知识进行积累，以及利用旧知识来学习新知识，而深度学习却截然相反。

早在80年代末，McCloskey和Cohen指出对某些已经训练过的神经网络进行新样本的再训练时，神经网络会迅速遗忘掉其已经学习过的旧知识。这一现象被称之为“灾难性遗忘”，这使得深度学习无法适用于“持续型学习”，“终身学习”的场景。随后，Abraham和Robins进一步将其总结为神经网络的“可塑性/稳固性两难”。

多数“灾难性遗忘”的研究假设旧训练数据完全无法获取(或仅部分可获取)，致力于改进训练网络的算法。而深度终身学习的另一种解法是训练一种数据驱动的回放方法使得旧训练数据得以复现，此时持续型学习退化成普通的训练任务。

Zhizhong Li,Derek Hoiem在Learning without Forgetting.(In ECCV 2016)以图像识别问题为例，总结了当时对于“持续型学习”问题的一般解决方法，(包括特征提取，参数调优以及联合训练)结合各家所长，提出了名为“不遗忘学习”的算法。作者提出了一个一般的持续型图像识别的场景：训练一个多任务模型，其中θs记为所有任务的共享网络中枢，θ0记为为旧任务所习得的参数，θn记为为新任务随机初始化的参数。目标为同时优化权衡此3组参数，使其同时在新旧任务上的表现都尽可能佳。

特征提取在完全保留旧知识的同时，尽可能的优化模型在新任务中的表现。这种方法一般适用于从更难的任务向相对简单的任务进行“持续型学习”。

联合训练需要同时训练新旧任务，并需要同时保存旧任务的训练数据。在这种场景中，其实已经退化成一般的深度学习问题。在之后的综述性文档中，此类方法被归类为“多任务学习”。

可以看到，参数调优和特征提取都无法同时兼顾新旧任务的表现，而联合训练则需要额外的数据。“不遗忘学习”的动机在于同时克服这两类方法的缺点，即同时兼顾模型在新旧任务上的表现，又无须保留旧的训练数据。

另一类在早期就被提出的方法是模仿人类在持续性学习过程中的“复习”行为，也可以看作是上文提出的朴素解法的一种变通。Robins首次提出了在持续性学习中使用“伪模式”，即由现有模型随机生成的输入输出对并与新任务的训练数据相混合，在持续性学习场景中对模型进行“排练。

此类算法需要显式的获取旧任务的训练数据，或者以一种近似的方法来模拟旧的训练数据。

在生成神经网络被广泛研究之后，出现了使用生成神经网络来取代“伪模式”这种相对朴素的思想的研究。对于“代表性学习”来说，生成模型的出现使得模型存储可以存储的“代表性样例”可以不受到存储空间的限制。对“不遗忘学习”等基于正则化的算法来说，也可以使用生成神经网络来做对旧任务训练数据的复现。