[发明专利]语义分割方法、装置、电子设备与存储介质

说明书

本发明实施例提供一种语义分割方法、装置、电子设备与存储介质。方法包括：对源领域图像和目标领域图像分别进行几何变换，得到第一中间图像和第二中间图像；将源领域图像、目标领域图像、第一中间图像以及第二中间图像分别输入语义分割模型中的生成器网络，依次得到第一图像特征、第二图像特征、第三图像特征以及第四图像特征；对第三图像特征和第四图像特征分别进行几何逆变换，得到第五图像特征与第六图像特征；将第一图像特征与第六图像特征输入第一判别器，将第二图像特征与第五图像特征输入第二判别器，根据判别结果确定是否需要对语义分割模型中的参数进行调整；当不需要调整时，根据生成器网络对目标领域图像进行语义分割。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种语义分割方法、装置、电子设备与存储介质。

背景技术

语义分割是要对图像中的像素进行分类，将属于同一类的像素归为一类。

在语义分割中，可以通过对图像中的像素标注标签的方式来实现像素分类。但标注标签需要耗费大量的人工精力。因此，用于语义分割的真实数据集一般只包含少量的样本(样本是指已经标注标签的图像)，但是这会抑制模型对各种真实情况的泛化。

针对这一问题，现有技术中常用的解决方法是无监督的语义分割方法，即将基于计算机合成的数据集训练得到的语义分割模型用于同种类别真实场景的数据集。为了减小对实际特征信息造成损坏，需要采用领域适应(domain adaptation)方法减小不同领域数据集图像的特征空间分布差异。

现有技术中的领域适应方法通常考虑采用什么方式将计算机合成领域的知识迁移到真实场景，从而实现领域适应，简而言之，即只关注“如何适应”而没有关注“用什么实现适应”。将现有技术中基于计算机合成的数据集训练得到的语义分割模型应用在真实场景中时，即使做了领域适应，也存在语义分割精确度不足的问题。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种语义分割方法、装置、电子设备与存储介质。

本发明第一方面实施例提供一种语义分割方法，包括：

几何变换的步骤，包括对源领域图像进行几何变换，得到第一中间图像；对目标领域图像进行几何变换，得到第二中间图像；其中，所述源领域图像为带有标签数据的计算机合成图像，所述目标领域图像为待进行语义分割的图像；

图像特征提取的步骤，包括将所述源领域图像、目标领域图像、第一中间图像以及第二中间图像分别输入语义分割模型中的生成器网络，依次得到第一图像特征、第二图像特征、第三图像特征以及第四图像特征；其中，所述生成器网络包括交叉领域类别感知模块，所述交叉领域类别感知模块用于对源领域和目标领域中分类模糊的像素点特征进行调整，使得不同领域同种类特征的类别中心一致；

几何逆变换的步骤，包括对所述第三图像特征进行几何逆变换，得到第五图像特征；对所述第四图像特征进行几何逆变换，得到第六图像特征；

判别的步骤，包括将所述第一图像特征与第六图像特征输入语义分割模型的判别器网络中的第一判别器，将第二图像特征与第五图像特征输入语义分割模型的判别器网络中的第二判别器，根据所述第一判别器与第二判别器的判别结果确定是否需要对所述语义分割模型中的参数进行调整；

语义分割的步骤，包括当所述语义分割模型中的参数不需要调整时，根据所述语义分割模型中的生成器网络对所述目标领域图像进行语义分割。

上述技术方案中，在所述判别的步骤与所述语义分割的步骤之间，方法还包括：

参数调整的步骤，包括当所述语义分割模型中的参数需要调整时，调整所述语义分割模型中的参数，然后重新执行图像特征提取的步骤。

上述技术方案中，在所述几何逆变换的步骤与所述判别的步骤之间，方法还包括：