[发明专利]一种基于相似性空间对齐的域自适应语义分割方法

权利要求书

1.一种基于相似性空间对齐的域自适应语义分割方法，其特征在于，所述方法包括下述步骤：

(1)训练基于相似性空间对齐的域自适应图像语义分割模型，包括如下子步骤：

(1.1)对数据集中的源域数据集和目标域数据集中所有图片进行统一的数据归一化，将源域数据集中标签转换为训练标签，得到带语义分割标注的源域数据集和无语义分割标注的目标域数据集；

(1.2)定义基于相似性空间对齐的域自适应图像语义分割网络模型，域自适应图像语义分割网络由一个分割器模块和一个判别器模块组成，根据(1.1)中得到的标准训练数据集，设计损失函数，使用对抗性训练方法训练该域自适应语义分割网络，得到基于相似性空间对齐的域自适应图像语义分割网络模型；包括：

(1.2.1)构建基于相似性空间对齐的域自适应图像语义分割网络模型，所述图像语义分割网络模型由分割器模块、相似性空间计算模块和判别器模块组成；

(1.2.2)将源域图像数据输入分割器模块预测得到源域图像的分割预测概率分布，基于交叉熵损失函数设计源域分割损失函数训练分割器模块；

(1.2.3)将分割器输出的源域数据和目标域数据的分割预测概率分布输入相似性空间计算模块，获取源域和目标域的相似性空间，将相似性空间输入判别器，根据判别器预测得分和判别器训练标签，基于二值化交叉熵损失函数，设计判别器训练损失函数；

(1.2.4)固定判别器参数，以目标域数据的相似性空间作为训练数据，设置“真相似性空间”对应的标签作为训练标签，输入判别器，根据判别器输出分值和训练标签基于二值化交叉熵损失函数设计对抗损失函数训练分割器模块；

(1.2.5)以整合源域分割损失函数L_seg(X_s)、对抗损失函数L_adv(A_t)、目标域分割损失函数L_seg(X_t)的分割器整体损失函数作为分割器目标损失函数；以判别器损失函数L_d(A)作为判别器目标损失函数；通过反向传播算法，优化基于相似性空间对齐的域自适应图像语义分割网络模型；

(1.2.6)将目标域训练集数据输入(1.2.5)训练的分割器模块得到目标域分割预测概率分布，根据设定的阈值生成目标域训练集伪标签，根据目标域数据和对应的伪标签，基于交叉熵损失函数设计目标域分割损失函数，对分割器模块进行重新优化；

(2)利用上述训练好的基于相似性空间对齐的域自适应图像语义分割网络模型对待分割真实图像进行语义分割：将目标域测试图像数据输入分割器，得到分割预测概率分布，通过softmax生成分割预测分值，针对图像每个像素，选择预测分值最大的那个类别为预测类别，从而得到最终的语义分割结果。

2.根据权利要求1所述的基于相似性空间对齐的域自适应语义分割方法，其特征在于，所述步骤(1.2.1)中的语义分割网络模型具体为：

所述域自适应图像语义分割网络模型，由分割器模块、相似性空间计算模块和判别器模块组成；分割器模块由Deeplab-V2语义分割网络修改得到，它以ResNet-101为基础网络架构，去除Deeplab-V2原生网络中多尺度融合策略，并将主干网络ResNet-101最后两层的步长修改为1和空洞扩张率分别修改为2和4，接着在ResNet-101特征输出后面添加空洞扩张率为{6,12,18,24}的空洞空间卷积池化金字塔模块来捕捉图像特征中多尺度信息，对图像特征每个像素进行类别预测，得到一个具有类别数目C个通道的分割概率分布特征，对应类别通道得分越高，表示像素为该类的可能性越大，得分最高的类别作为图像语义分割结果；对于相似性空间计算模块，它基于KL散度计算像素和其周围N＝8个邻居的分割预测概率向量的相似性，将图像分割预测概率分布输入相似性空间计算模块可计算得到图像数据的相似性空间，作为下一步判别器的输入进行对抗训练；对于判别器模块，它由五个卷积核大小为4、步长为2的卷积层组成，五层卷积层的通道数分别为{64,128,256,512,1}，将除最后一个卷积层之外的每个卷积层之后都接上一个负数区域激活值为0.2的泄露修正线性单元LeakyReLU激活函数，将上一步得到的相似性空间输入判别器，预测该相似性空间是来自的源域的“真相似空间”的概率。