[发明专利]一种基于领域增量学习的语义分割方法

说明书

本发明公开了一种基于领域增量学习的语义分割方法，步骤如下：(1)准备新任务数据；(2)构建新任务的模型且对其初始化；(21)基于先前增量任务中完全训练的旧模型增加一组领域特定的参数获得新任务的模型；(22)加载旧模型的权重对新模型进行初始化；(23)冻结旧模型的全部参数，冻结新模型中在先前增量任务中学习到的旧领域的领域特定参数；(3)将训练数据输入模型中，获得模型对不同领域的响应并计算损失；(31)将训练数据输入旧模型，获得旧模型对所有旧领域的特征响应；(32)将训练数据输入新模型，获得新模型对所有旧领域和新领域的特征响应；(33)根据上述步骤获得的特征计算分割损失和蒸馏损失；(4)模型迭代训练；(5)模型测试。本发明使模型能够在持续变化的领域中学习，且对所有已学习的领域保持良好的性能，从而保证自动驾驶系统能够在持续变化的驾驶环境中保持稳定的性能。

技术领域

本发明涉及计算机视觉图像分割技术领域，具体是一种基于领域增量学习的语义分割方法。

背景技术

语义分割是计算机视觉中的一项基本任务，其目标是为图像中的每个像素(例如道路、汽车或人)分配语义标签。它在自动驾驶中有着重要的应用，因为语义信息提供了物体的形状和位置，可以为自动驾驶系统的决策提供强有力的支撑。在自动驾驶的背景下，处理领域迁移尤为重要，因为驾驶环境是开放的且不断变化的，在不同的任务阶段驾驶系统需要处理不同领域的数据，且在不同领域中包含的目标类别种类不一定是完全相同的。一个理想的自动驾驶系统应该具有领域增量学习能力，以在不断变化的天气和道路条件下保持其性能。然而，目前大多数研究都集中在探索不同的网络架构以提高其在单个领域上的性能，难以同时在多个领域上保持显著的性能。

近年来出现了一些方法来解决驾驶场景中领域迁移的问题，其中经典方法包括微调和联合训练。一般来说，在新领域上对模型进行微调可能会导致灾难性的遗忘，因为模型会快速拟合新领域的分布，将导致其失去对先前已学习旧领域的判别。对上述问题的一个常见解决方案是联合训练，即同时使用所有领域的数据重新训练模型，在该设置下模型能够同时对多个领域保持较高的分割性能，但仍存在一定的局限性：同时处理来自多个领域的数据会增加模型训练的成本；由于数据的隐私性，在单个任务中只能访问单个领域的数据。针对上述这些问题，语义分割中的领域增量学习任务被提出，该任务要求模型能够从不断变化的领域中学习知识并保持所有学习领域的性能。最近的一些工作将一些常用的增量学习策略应用在领域增量的任务中，例如常见的正则化和回放的策略，能够在一定程度上提高模型在旧领域上的稳定性。模型中所有的参数都会根据新任务的训练数据进行更新，由于新旧领域知识都纠缠在模型参数中，使得保持学习新知识和保持旧知识的脆弱平衡变得极其困难。基于上述新旧知识纠缠在模型中的问题，基于参数隔离的方案能够很好的解决，该方案的特点在于将模型参数划分为领域共享的主干和领域特定的部分，新领域学习一组领域特定的参数以获取每个增量任务中新领域的领域特定信息，常用的方法是在主干网络上并行插入残差的领域适配器来实现。模型可以基于共享主干和领域特定的信息来构建任意一个旧领域的特征，这可以大大减轻在旧领域上的知识遗忘。对于上述参数隔离的方案，仍存在以下两方面的问题：1)虽然残差适配器的使用能够有效的保持模型在旧领域上的性能，但仍然难以构建一个高效的共享表示服务于所有领域，因此需要进一步的提升对领域特定信息的获取。2)理想情况下，主干网络应该只包含不同领域的共享信息，但在实际情况下无法完成，学习任务总是向新领域偏置。上述两个方面都可能导致模型对旧领域知识的遗忘进而导致性能的下降。

发明内容

本发明针对现有领域增量学习方法的不足，提出一种基于领域增量学习的语义分割方法，旨在使模型在新任务中对新领域学习时尽可能的减少对旧领域知识的灾难性遗忘，最终能够使模型同时在新旧领域上保持显著的分割性能。

实现本发明的技术解决方案为：一种基于领域增量学习的语义分割方法，包括以下步骤：

1)准备新任务数据，对于当前第t个领域增量任务，准备新领域t的训练数据，以及领域1至领域t的测试数据，分别用于方法的训练和测试；

2)构建新任务的模型且对其初始化；