[发明专利]基于交叉领域类别感知的领域适应语义分割方法及装置

权利要求书

1.一种基于交叉领域类别感知的领域适应语义分割方法，其特征在于，包括：

将源数据集中源图像的风格通过风格迁移网络转换成目标数据集中目标图像的风格，得到源适应图像；其中，所述源适应图像和所述源图像的标签数据一致；

将所述源适应图像依次经过第一特征提取网络和第一分类器进行处理，得到第一特征图和第一分类分数图；将所述目标图像依次经过第二特征提取网络和第二分类器进行处理，得到第二特征图和第二分类分数图；

将所述第一特征图、所述第一分类分数图、所述第二特征图和所述第二分类分数图输入到交叉域类别感知模块；其中，所述交叉域类别感知模块包括两个交叉域类别感知器，所述交叉域类别感知器包括顺次相连的交叉域类别中心生成器和类别注意力模块，分别通过两个所述交叉域类别感知器的所述交叉域类别中心生成器对所述第一特征图和所述第二特征图的类别中心进行调整，使所述第一特征图和所述第二特征图的类别中心靠近；并分别通过所述类别注意力模块对所述第一特征图和所述第二特征图的分类模糊特征点进行分布调整，分别得到第一注意力特征图和第二注意力特征图；

根据所述第一注意力特征图对所述源图像进行语义分割以及根据所述第二注意力特征图对所述目标图像进行语义分割。

2.根据权利要求1所述的基于交叉领域类别感知的领域适应语义分割方法，其特征在于，所述分别通过两个所述交叉域类别感知器的所述交叉域类别中心生成器对所述第一特征图和所述第二特征图的类别中心进行调整，具体包括：

对所述第一分类分数图和所述第二特征图做内积运算，得到所述第一特征图调整后的类别中心；

对所述第二分类分数图和所述第一特征图做内积运算，得到所述第二特征图调整后的类别中心。

3.根据权利要求2所述的基于交叉领域类别感知的领域适应语义分割方法，其特征在于，所述第一特征图调整后的类别中心表示为：

所述第二特征图调整后的类别中心表示为：

其中，表示所述源数据第i个类的所述类别中心，H表示特征高度，W表示特征宽度，j表示像素的序号，G_c1(F₁)表示所述第一分类分数图，[G_c1(F₁)]^i,j表示所述第一分类分数图中第j个像素是否属于第i个类，是取值为1，否取值为0；[A₂]^j表示第j个像素在所述第二特征图中的特征分布；表示所述目标数据第i个类的所述类别中心，G_c2(F₂)表示所述第二分类分数图，[G_c2(F₂)]^i,j表示所述第二分类分数图中第j个像素是否属于第i个类，是取值为1，否取值为0；[A₁]^j表示第j个像素在所述第一特征图中的特征分布。

4.根据权利要求1所述的基于交叉领域类别感知的领域适应语义分割方法，其特征在于，所述分别通过所述类别注意力模块对所述第一特征图和所述第二特征图的分类模糊特征点进行分布调整，分别得到第一注意力特征图和第二注意力特征图，具体包括：

将所述第一分类分数图作为注意力图，并对所述第一分类分数图和所述源数据调整后的所述类别中心做内积运算，得到第一类别注意力特征；将所述第一类别注意力特征和所述第一特征图进行通道相加，得到所述第一注意力特征图；

将所述第二分类分数图作为注意力图，并对所述第二分类分数图和所述目标数据调整后的所述类别中心做内积运算，得到第二类别注意力特征；将所述第二类别注意力特征和所述第二特征图进行通道相加，得到所述第二注意力特征图。