[发明专利]一种基于GAN的域适应图像语义分割方法

权利要求书

1.一种基于GAN的域适应图像语义分割方法，其特征在于，包括如下步骤：

S1选择源域和目标域数据集；

S2构建基于GAN的域适应图像语义分割模型；

S3对源域和目标域的图像做特征域的对齐处理；

S4在编码器中输入源域图像，得到语义分割网络中解码器的热启动；

S5源域和目标域的图像都输入完整的语义分割网络，分割图接着输入到空间感受野模块得到不同的特征图，输入到对应的对抗模块组；

S6输入目标域图像在语义分割网络中进行前向传播，端到端的输出预测的语义分割结果，完成无标签目标域的图像语义分割；

所述S2中，语义分割模型包括语义分割网络、生成对抗模块、空间感受野模块和对抗模块组；

所述空间感受野模块包括最大池化、1x1的卷积和3x3的卷积，设置padding＝dilation分别是12，24，36，其中1x1的卷积和3x3的卷积并行的排在最大池化的后面；

所述S3具体为：源域和目标域的图像都输入语义分割网络中的编码器得到编码特征，然后将编码特征输入生成对抗模块，达到域对齐目的；

所述S3包括以下子步骤：

S31将采用预训练好的编码器，提取图像的特征；

S32采用上述S31步骤的损失来更新编码器和生成对抗模块，更新完之后，使编码器学习到了源域和目标域的共同特征，并且使源域的特征迁移向目标域；

所述S4中，固定语义分割网络中的编码器，只输入源域图像，经完整的语义分割网络得到语义分割图，用交叉熵损失进行训练，使得训练得到语义分割网络中解码器的热启动；

所述S5中，源域和目标域的图像都输入完整的语义分割网络，得到相对应的语义分割图，对于源域图像具有交叉熵损失度量，目标域则没有；分割图接着输入到空间感受野模块得到不同的特征图，输入到对应的对抗模块组；

所述S5包括以下子步骤：

S51分别输入源域和目标域的图像，经过已经固定的编码器，热启动好的解码器分别得到语义分割图，对于源域的语义分割图添加一个交叉熵损失，目标域则没有；

S52两个域的得到的语义分割图分别输入空间感受野模块，输出4个特征图接着输入对抗模块组中，进行对抗训练；

S53针对上两步的交叉熵损失和对抗损失加入平衡参数，用于平衡对抗训练和全监督语义分割。