[发明专利]一种基于区域特征对齐的无监督域适应语义分割方法

权利要求书

1.一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，该方法包括：

训练学生-教师模型：

将源域图片输入到学生模型中得到分割预测结果，将源域图片的分割预测结果和源域标签进行交叉熵损失计算，

对源域图片和目标域图片的像素点做基于类别的融合，得到的第一融合图片经过学生模型的分割预测结果和第一融合图片的伪标签进行一致性损失的计算，

对源域图片和目标域图片的像素点做基于区域的融合，对第二融合图片和目标域图片进行区域特征对齐获取对比损失，

计算交叉熵损失、一致性损失和对比损失的梯度，反传梯度更新学生模型的参数，并使用指数滑动平均法更新教师模型的参数；

采用训练的教师模型对目标域图片进行语义分割。

2.根据权利要求1所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，所述的基于类别的融合的方式包括：随机选取源域图片上设定数量类别的像素点，将选取的像素点覆盖在目标域图片上的相同位置得到第一融合图片。

3.根据权利要求2所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，所述的第一融合图片的伪标签通过如下方式获得：

将目标域图片输入至教师模型，得到的分割预测结果作为目标域图片的伪标签；

将源域标签和目标域图片的伪标签按照获取第一融合图片时选取的像素点对应做基于类别的融合，得到第一融合图片的伪标签。

4.根据权利要求1所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，所述的基于区域的融合的方式包括：从目标域图片上随机裁剪出一个矩形区域的像素点，将该区域的像素点覆盖在源域图片上的相同位置得到第二融合图片。

5.根据权利要求4所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，对第二融合图片和目标域图片进行区域特征对齐获取对比损失的具体方式包括：

将目标域图片输入至教师模型，得到的分割预测结果作为目标域图片的伪标签；

将第二融合图片输入至学生模型，基于源域标签和目标域图片的伪标签获取第二融合图片的伪标签；

采用教师模型投影结构对目标域图片在教师模型主干网络处提取的特征进行投影处理得到目标域图片的投影向量；

采用学生模型投影结构对第二融合图片在学生模型主干网络处提取的特征进行投影处理得到第二融合图片的投影向量；

对目标域图片的投影向量和第二融合图片的投影向量之间的重叠区域进行特征对齐，获取第二融合图片的投影向量上重叠区域的对比损失。

6.根据权利要求5所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，第二融合图片的伪标签通过如下方式获得：将源域标签和目标域图片的伪标签按照获取第二融合图片时选取的像素点对应做基于区域的融合，得到第二融合图片的伪标签。

7.根据权利要求5所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，所述的教师模型投影结构和学生模型投影结构分别包括主干网络之后的与分割头部并行的两个1*1的卷积。

8.根据权利要求5所述的一种基于区域特征对齐的无监督域适应语义分割方法，其特征在于，获取第二融合图片的投影向量上重叠区域的对比损失的具体方式为：

对第二融合图片的投影向量重叠区域的每个位置分别筛选正负样本；

基于筛选的正负样本，计算第二融合图片中重叠区域各个位置投影向量的对比损失并求和得到该重叠区域的对比损失。