[发明专利]一种基于相似性空间对齐的域自适应语义分割方法

摘要

本发明公开了一种基于相似性空间对齐的域自适应语义分割方法，将源域和目标域的分割输出分别变换到相似性空间，并对齐源域和目标域两者的相似性空间分布来减小域间差异，即可得到在无监督的目标域上有较好分割效果的语义分割模型。该方法在跨域语义分割任务中引入了相似性空间的概念，更好地编码了分割场景中类别间的相关性，利用判别器对不同域的相似性空间进行判别，使得分割网络更加关注图像的结构、类别共存性等信息，且整个网络可以端到端训练。本方法提出的基于相似性空间对齐的无监督域自适应语义分割方法在现有的技术思路上进行了创新，融入了分割场景中类别的相关性空间信息，分割性能更好，有着很强的实际应用价值。

主权项

1.一种基于相似性空间对齐的域自适应语义分割方法，其特征在于，所述方法包括下述步骤：(1)训练基于相似性空间对齐的域自适应图像语义分割模型，包括如下子步骤：(1.1)对数据集中的源域数据集和目标域数据集中所有图片进行统一的数据归一化，将源域数据集中标签转换为训练标签，得到带语义分割标注的源域数据集和无语义分割标注的目标域数据集；(1.2)定义基于相似性空间对齐的域自适应图像语义分割网络模型，域自适应图像语义分割网络由一个分割器模块和一个判别器模块组成，根据(1.1)中得到的标准训练数据集，设计损失函数，使用对抗性训练方法训练该域自适应语义分割网络，得到基于相似性空间对齐的域自适应图像语义分割网络模型；包括：(1.2.1)构建基于相似性空间对齐的域自适应图像语义分割网络模型，所述图像语义分割网络模型由分割器模块、相似性空间计算模块和判别器模块组成；(1.2.2)将源域图像数据输入分割器模块预测得到源域图像的分割预测概率分布，基于交叉熵损失函数设计源域分割损失函数训练分割器模块；(1.2.3)将分割器输出的源域数据和目标域数据的分割预测概率分布输入相似性空间计算模块，获取源域和目标域的相似性空间，将相似性空间输入判别器，根据判别器预测得分和判别器训练标签，基于二值化交叉熵损失函数，设计判别器训练损失函数；(1.2.4)固定判别器参数，以目标域数据的相似性空间作为训练数据，设置“真相似性空间”对应的标签作为训练标签，输入判别器，根据判别器输出分值和训练标签基于二值化交叉熵损失函数设计对抗损失函数训练分割器模块：(1.2.5)以整合源域分割损失函数L_seg(X_s)、对抗损失函数L_adv(A_t)、目标域分割损失函数L_seg(X_t)的分割器整体损失函数作为分割器目标损失函数；以判别器损失函数L_d(A)作为判别器目标损失函数；通过反向传播算法，优化基于相似性空间对齐的域自适应图像语义分割网络模型；(1.2.6)将目标域训练集数据输入(1.2.5)训练的分割器模块得到目标域分割预测概率分布，根据设定的阈值生成目标域训练训练集伪标签，根据目标域数据和对应的伪标签，基于交叉熵损失函数设计目标域分割损失函数，对分割器模块进行重新优化；(2)利用上述训练好的基于相似性空间对齐的域自适应图像语义分割网络模型对待分割真实图像进行语义分割：将目标域测试图像数据输入分割器，得到分割预测概率分布，通过softmax生成分割预测分值，针对图像每个像素，选择预测分值最大的那个类别为预测类别，从而得到最终的语义分割结果。