[发明专利]一种基于注意力的联合图像与特征自适应的语义分割方法

权利要求书

1.一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：构建了一种跨模态图像语义分割领域自适应联合框架，包括图像自适应器和特征自适应器，采用图像自适应器和特征自适应器分别从图像外观和特征空间两方面逐步缩小源域图像和目标域图像的领域差异，并在特征自适应器中引入注意力模块，使其能够捕获重要区域的关键特征，最后使用端到端的方式将图像自适应器与特征自适应连接在一起，具体包括如下步骤：

步骤(1)，利用图像自适应器对源域图像进行图像风格转换，在不改变图像内容的前提下，将源域图像转换为与目标域图像外观相似的类目标图像；

步骤(2)，使用特征自适应器分别在语义预测空间和图像生成空间中对齐类目标图像和目标图像之间的特征，以提取到领域不变特征；

步骤(3)，在特征自适应器中引入注意力模块，所述注意力模块由池化层、上采样层、卷积层和Sigmoid激活层组成；

步骤(4)，使用端到端的方式将图像自适应器和特征自适应器连接在一起，得到领域自适应联合框架，最终通过训练得到鲁棒性强的高性能图像分割模型。

2.如权利要求1所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述步骤(1)中使用图像自适应器对源域图像进行图像风格转换的具体实施方式如下，

11)首先，将源域图像X_s输入到对抗神经网络GAN的生成器G_T中，以生成类目标域图像X_s-t，并使用对抗神经网络中与G_T相对应的判别器D_T对X_s-t进行判别，判断该图像是真实的目标域图像，还是转换得到的类目标域图像，该GAN的损失函数记为具体如公式(1)所示：

其中，SD和TD分别表示源域数据集和目标域数据集，X_t表示真实的目标域图像；

12)然后，将目标域图像X_t送入另一个生成器G_S中，从而将目标图像X_t转换为类原域图像X_t-s，并使用对应的判别器D_S进行判别，不同于过程1)中生成器G_T，生成器G_S由两个单独的网络模块组成，即G_S表示为其中F和T分别表示特征提取器和特征解码器，该过程中损失函数记为具体如公式(2)所示：

13)使用循环一致性约束对图像转换过程进行指导，具体而言，循环一致性约束分为前向一致性约束和反向一致性约束，前向一致性约束保证X_s在图像转换为X_s-t之后能够通过图像转换重新回到X_s，即表示为：X_s→G_T(X_s)＝X_s-t→T(F(G_T(X_s)))＝X_s-t-s；同样的，反向一致性约束能够保证X_t在图像转换为X_t-s之后能够通过图像转换重新回到X_t，即表示为：X_t→T(F(X_t))＝X_t-s→G_T(T(F(X_t)))＝X_t-s-t；循环一致性约束记为具体如公式(3)所示：

其中，和分别表示前向一致性约束和反向一致性约束；‖·‖₁表示L1范数；

14)最后，在得到类目标域图像X_s-t之后，即可将其输入到分割网络中进行训练，具体而言，分割网络由上述过程中使用的特征提取器F和新引入的分类器C组成，可表示为随后，使用X_s-t和其对应的标签Y_s即可训练得到图像分割模型，该分割模型的目标函数如公式(4)所示：

其中，CE(·)表示交叉熵损失；Dice(·)表示Dice损失；P_s-t为分割模型对X_s-t的预测结果。