[发明专利]一种基于GAN的域适应图像语义分割方法

说明书

本发明涉及图像语义分割技术领域，具体涉及一种基于GAN的域适应图像语义分割方法；本发明包括如下部分：语义分割网络，生成对抗模块，空间感受野模块，对抗模块组。目标域是无标签数据集，源域是有标签数据集，任务是得到目标域的语义分割标签图。经典的图像语义分割网络内部可以看成编码器和解码器，输入图像经过编码和解码方式得到相同大小的输出图像。本发明提出在编码器和解码器上面分别加入相应的对抗训练辅助模块来减小域适应带来的域漂移问题。本发明解决了现有技术中的无监督图像语义分割准确率较低的问题。

技术领域

本发明涉及图像语义分割技术领域，具体涉及一种基于GAN的域适应图像语义分割方法。

背景技术

目前，深度神经网络在大数据的前提下非常有能力学习到一个非常好的视觉模型。但是收集标签数据甚至是像素级的标签数据是非常困难的，据报道人工标注一张图片的像素级标签至少需要90分钟。对于图像数据集无标签的语义分割也就是无监督语义分割，在近年比较流行的一个选择方案就是利用虚拟数据(比如说游戏场景里的图像，我们可以很容易的获取图片以及标注好的像素级标签，相对于人工标注在速度上快好几个量级)来产生现实场景的图像标签。但是，简单的将在虚拟数据上训练得到的模型应用到实际图片上得到的图片效果很差，主要原因就是域漂移。传统的域适应方法主要应用于图像分类任务，可以概括为(1)最小化源域和目标域分布的距离，(2)确保这两种分布能通过对抗训练来互相接近。但是，图像语义分割是像素级的，相对于图像分类更加富有密集和结构化的信息，所以分类任务中的域适应技术不能很好的转化为图像语义分割域适应。而且对图像语义分割的域适应领域，在学术界是比较少的研究与关注。

近年来，生成对抗模型(GAN)的兴起和发展，越来越多的问题能通过引入GAN得到解决。GAN的目的在于拟合两个分布，通过生成对抗训练，让其中一个分布能趋近或者对齐于另外一个分布。为了解决域漂移问题，我们提出了基于GAN的域适应图像语义分割的方法。

发明内容

针对现有技术的不足，本发明公开了一种基于GAN的域适应图像语义分割方法，为解决现有技术中的无监督图像语义分割准确率较低的问题。

本发明通过以下技术方案予以实现：

一种基于GAN的域适应图像语义分割方法，其特征在于，包括如下步骤：

S1选择源域和目标域数据集；

S2构建基于GAN的域适应图像语义分割模型；

S3对源域和目标域的图片做特征域的对齐处理；

S4在编码器中输入源域图片，得到语义分割网络中解码器的热启动；

S5源域和目标域的图片都输入完整的语义分割网络，分割图接着输入到空间感受野模块得到不同的特征图，输入到对应的对抗模块组；

S6输入目标域图片在语义分割网络中进行前向传播，端到端的输出预测的语义分割结果，完成无标签目标域的图像语义分割。

优选的，所述S2中，语义分割模型包括语义分割网络、生成对抗模块、空间感受野模块和对抗模块组。

优选的，所述空间感受野模块包括最大池化、1x1的卷积和3x3 的卷积，设置padding＝dilation分别是12，24，36，其中1x1的卷积和3x3的卷积并行的排在池化层的后面。

优选的，所述S3具体为：源域和目标域的图片都输入语义分割网络中的编码器得到特征表征层，然后输入生成对抗模块，达到域对齐目的。

优选的，所述S3包括以下子步骤：

S31将采用预训练好的编码器，提取图像的特征；

S2采用上述S31步骤的损失来更新编码器和生成对抗模块，更新完之后，使编码器学习到了源域和目标域的共同特征，并且使源域的特征迁移向目标域。