[发明专利]一种基于动态知识蒸馏的类增量语义分割方法

说明书

本发明公开一种基于动态知识蒸馏的类增量语义分割方法，所述类增量语义分割方法基于可学习知识蒸馏的双层优化框架，所述双层优化框架包括冻结的旧模型、蒸馏方案优选模块、可训练的新模型和动态权重平衡模块，其中：所述蒸馏方案优选模型根据初始化权重，按照每T/N个时期迭代对一组蒸馏候选进行贪心搜索获得每个输出的最优蒸馏方案，其中：最优蒸馏方案包括：和原始所述动态权重平衡模块目标函数以在每次小批量迭代时更新权重本发明以迭代的方式学习最优蒸馏方案和权重，旨在解决CISS面临的灾难性遗忘和背景类偏移问题。

技术领域：

本发明属于图像处理领域，尤其涉及一种基于动态知识蒸馏的类增量语义分割方法。

背景技术：

不同于传统语义分割[1,2]，类增量语义分割(CISS)[3]面向开放世界场景，它应用于现实世界中的许多领域，包括机器人导航、自动驾驶、医疗诊断等。近年来人们对CISS展现了浓厚的科研兴趣，CISS面临的最大挑战是灾难性遗忘，知识蒸馏[4]技术被人们广泛应用来解决这一挑战。知识蒸馏侧重于通过利用预先训练的大模型来提高小的学生模型的性能。近年来，CISS架构层出不穷，其中主流的三种趋势分别是初始化分类器[5,6]、多尺度空间知识蒸馏[7]以及引入基于对比学习的知识蒸馏损失[8]。此外，现有方法[9]提出基于类间相似度的加权知识蒸馏。除此之外，一些研究专注于产生更精确的伪标签[7,10]，采用重放技术[5,11]，增大模型容量[12]等。其中，一些动态知识蒸馏方法[13]通过利用教师模型和学生模型的预测关系来学习蒸馏损失的权重，以进行显著性检测。[14]为预先训练的语言模型动态地选择教师模型和数据。

为了解决CISS面临的灾难性遗忘问题，现有的研究大多使用基于知识蒸馏的框架。然而尽管知识蒸馏方法大大提升了CISS的性能，CISS仍然面临稳定性-可塑性难题，刚性即不遗忘旧知识的能力，可塑性即学习新知识的能力。首先，由于背景类的语义转移，即背景类的像素可能包括过去学习过的前景类和未来将要学习的前景类，目前的知识蒸馏方法使得模型混淆，无法正确区分前景类和背景类。其次，现有的方法对不同的中间层特征和预测输出都采用同样的蒸馏方式。然而不同阶段的深度模型具有不同的性质，浅层的特征捕获低级局部信息，深层的特征捕获高级语义信息。因此，不同输出之间的蒸馏效果和信息是不同的，对不同的网络输出进行蒸馏也应该采用相适应的蒸馏方案。最后，trade-off权重对CISS性能有着巨大的影响，合适的trade-off权重在平衡模型学习新知识(可塑性)和记住旧知识(稳定性)的能力中起着重要作用。现有方法手动进行trade-off权重调整并且参数在模型训练过程中是固定的，这限制了模型在变化的场景和样本下的性能。因此，上述限制使得现有基于知识蒸馏的CISS方法不能完全达到理想的稳定性-可塑性的平衡。

发明内容：

为了克服现有方法与技术的不足，本发明提出了一种基于动态知识蒸馏的类增量语义分割方法，以更灵活的方式应对稳定性-塑性困境，进一步提高CISS的性能。具体而言，LKD在搜索不同输出的最佳蒸馏方案的同时，学习动态trade-off权重，实现稳定性和可塑性之间的自适应权衡。

为了不同的输出配备适当的蒸馏方案，本发明构造了一组蒸馏方案候选，特别是分别提出了两种有效的KD方案来减轻背景偏移并利用更丰富的上下文信息。此外，本发明采用正则化的梯度平衡公式以学习动态trade-off权重。基于上述方法，LKD以迭代的方式学习最优蒸馏方案和权重。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于动态知识蒸馏的类增量语义分割方法，所述类增量语义分割方法基于可学习知识蒸馏的双层优化框架，所述双层优化框架包括冻结的旧模型、蒸馏方案优选模型、可训练的新模型和动态权重平衡模型，其中：

所述蒸馏方案优选模型根据初始化权重，按照每T/N个时期迭代对一组蒸馏候选进行贪心搜索获得每个输出的最优蒸馏方案，其中：最优蒸馏方案包括：Local PODMDMCD和原始KD

所述动态权重平衡模块通过如下目标函数以在每次小批量迭代时更新权重即：