[发明专利]高泛化性的跨域道路场景语义分割方法和系统

说明书

本发明公开一种高泛化性的跨域道路场景语义分割方法，包括：通过游戏引擎产生虚拟图像及对应标签；利用虚拟图像生成全局/局部纹理迁移图像；对虚拟图像、全局/局部纹理迁移图像送入神经网络进行训练；将神经网络训练的全局/局部纹理迁移图像进行一致性约束；对经过神经网络训练的虚拟图像以及经过一致性约束的局纹理迁移图像和局部纹理迁移图像分别与标签计算损失值，并依据损失值训练语义分割模型；利用训练好的语义分割模型进行语义分割。本发明通过对虚拟图像的全局纹理迁移和局部纹理迁移实现数据增强，攻击神经网络，迫使模型学习跨域不变的形状信息；且该方法只在源域进行网络训练，实现了可靠的跨域分割效果，同时拥有很强的泛化性能。

技术领域

本发明属于计算机视觉技术领域，具体来说，涉及一种高泛化性的跨域道路场景语义分割方法和系统。

背景技术

图像语义分割是指计算机根据图像的内容实现对图像的理解，然后进行可视化分割。近些年来，随着人工智能的不断发展，基于深度学习的语义分割技术开始越来越多地应用到工业生产、社会安防和交通运输等各个方面，其中，语义分割实现无人驾驶是一个热门方向，也是发展的必然趋势。语义分割是无人车驾驶的核心算法技术，车载摄像头，或者激光雷达探查到图像后输入到神经网络中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。

在近几年的发展中，深度学习语义分割的性能趋于完善，但是研究人员发现，在训练数据集上表现优异的模型在其他场景中应用时效能并不理想，这是因为训练图像(源域)和应用的图像(目标域)存在于两个不同的域，他们的数据分布不一致。对此，科研人员提出了大量基于深度学习的人工智能方法来应对跨域后语义分割的效能衰减问题，这种方法需要提前获取目标域的图像来进一步地将源域分布适应为目标域的分布，从而提高在目标域的分割鲁棒性，但这存在两个问题：其一，目前的大多数方法为了适应新的目标域就必须要提前获得这个目标域的一部分图像数据，这无疑是非常耗费人力物力的；其二，这些方法旨在针对某个已知的目标域进行跨域分割，固定好的模型仅能够适用于这个特定的域，不能泛化到其他域当中，不能满足实际应用的需要。

发明内容

针对现有技术存在的目标域数据依赖度高、泛化性能差的问题，本发明提供了一种不依赖目标域数据且同时具有可观泛化性能的跨域道路场景语义分割方法，该方法通过游戏引擎产生虚拟数据并在虚拟数据集上进行图像处理，攻击神经网络，提升网络对跨域分割的纹理变化的鲁棒性，促进网络对图像中物体形状的学习，从而增强模型的多域泛化的性能。

为实现上述技术目的，本发明采用的技术方案如下：

一种高泛化性的跨域道路场景语义分割方法，包括：

通过游戏引擎产生虚拟图像及对应标签；

将虚拟图像进行全局纹理迁移生成全局纹理迁移图像；

将虚拟图像和全局纹理迁移图像进行局部纹理迁移生成局部纹理迁移图像；

对虚拟图像、全局纹理迁移图像以及局部纹理迁移图像进行统一尺寸后送入神经网络进行训练；

将经过神经网络训练的全局纹理迁移图像和局部纹理迁移图像进行一致性约束；

对经过神经网络训练的虚拟图像以及经过一致性约束的局纹理迁移图像和局部纹理迁移图像分别与标签计算损失值，并依据损失值训练语义分割模型；

利用训练好的语义分割模型对任一真实场景进行语义分割。

进一步限定，所述将虚拟图像进行全局纹理迁移生成全局纹理迁移图像按照如下方式获得全局纹理迁移图像X_GTR：

其中，F_X是虚拟图像的特征，F_T是纹理图像的特征，μ是特征图的均值，σ是特征图的方差，f为将特征解码为全局纹理迁移图像的神经网络。