[发明专利]基于交叉领域类别感知的领域适应语义分割方法及装置

说明书

本发明实施例提供一种基于交叉领域类别感知的领域适应语义分割方法及装置，该方法包括：将源图像风格转换为目标图像风格后，分别进行特征提取及分类；将特征图和分类分数图输入交叉域类别感知模块；分别通过两个交叉域类别感知器的交叉域类别中心生成器对特征图类别中心进行调整使特征图的类别中心靠近；分别通过类别注意力模块对特征图的分类模糊特征点进行调整，得到第一注意力特征图和第二注意力特征图进而进行语义分割。本发明实施例模型在提取某一领域特征时关注另一领域数据特征的类别中心，并结合注意力机制，重点对两个领域中分类模糊的像素点特征进行调整，使不同领域同种类特征的类别中心一致，减小特征分布的差异，实现领域适应。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于交叉领域类别感知的领域适应语义分割方法及装置。

背景技术

语义分割数据标签的标注需要耗费大量的人工精力。因此，用于语义分割的真实数据集一般只包含少量的样本，但是这会抑制模型对各种真实情况的泛化。常用的解决方法是无监督的语义分割方法，即将基于计算机合成的数据集训练得到的模型用于同种类别真实场景的数据集。为了减小对实际特征信息造成损坏，需要采用领域适应方法减小不同领域数据集图像的特征空间分布存在的差异。传统的领域适应方法通常考虑采用什么方式将计算机合成领域的知识迁移到真实场景，从而实现领域适应，而不注重将计算机的什么知识进行迁移，简而言之，即只关注“如何适应”而没有关注“用什么实现适应”。

不同领域的图像内容存在一定的相似性，例如，图片里面的类别大致是相同的。因此，用同一模型提取的不同领域数据集的相同类别的特征空间应该是相似的，类别中心也应该是一致的。但是，真实场景和计算机合成场景的数据集相同类别的特征分布往往会存在差异。因此，如何通过减小不同领域特征分布的差异进而实现领域适应是亟待解决的问题。

发明内容

为解决现有技术中的问题，本发明实施例提供一种基于交叉领域类别感知的领域适应语义分割方法及装置。

第一方面，本发明实施例提供一种基于交叉领域类别感知的领域适应语义分割方法，该方法包括：将源数据集中源图像的风格通过风格迁移网络转换成目标数据集中目标图像的风格，得到源适应图像；其中，所述源适应图像和所述源图像的标签数据一致；将所述源适应图像依次经过第一特征提取网络和第一分类器进行处理，得到第一特征图和第一分类分数图；将所述目标图像依次经过第二特征提取网络和第二分类器进行处理，得到第二特征图和第二分类分数图；将所述第一特征图、所述第一分类分数图、所述第二特征图和所述第二分类分数图输入到交叉域类别感知模块；其中，所述交叉域类别感知模块包括两个交叉域类别感知器，所述交叉域类别感知器包括顺次相连的交叉域类别中心生成器和类别注意力模块，分别通过两个所述交叉域类别感知器的所述交叉域类别中心生成器对所述第一特征图和所述第二特征图的类别中心进行调整，使所述第一特征图和所述第二特征图的类别中心靠近；并分别通过所述类别注意力模块对所述第一特征图和所述第二特征图的分类模糊特征点进行分布调整，分别得到第一注意力特征图和第二注意力特征图；根据所述第一注意力特征图对所述源图像进行语义分割以及根据所述第二注意力特征图对所述目标图像进行语义分割。

进一步地，所述分别通过两个所述交叉域类别感知器的所述交叉域类别中心生成器对所述第一特征图和所述第二特征图的类别中心进行调整，具体包括：对所述第一分类分数图和所述第二特征图做内积运算，得到所述第一特征图调整后的类别中心；对所述第二分类分数图和所述第一特征图做内积运算，得到所述第二特征图调整后的类别中心。

进一步地，所述第一特征图调整后的类别中心表示为：

所述第二特征图调整后的类别中心表示为：