[发明专利]图像语义分割模型训练、分割方法、装置以及存储介质

说明书

本公开提供了一种图像语义分割模型训练、图像语义分割方法、装置以及存储介质，涉及计算机技术领域，其中方法包括：使用判别器模型对语义分割模型生成的语义分割图像进行判决处理；构建与判别器模型相对应的损失函数，包括：基于目标域图像生成的目标域损失函数；目标域损失函数包括基于图像块的语义一致性生成的第一语义损失函数、基于聚类簇的语义一致性生成的第二语义损失函数和基于图像空间逻辑构造生成的第三语义损失函数中的至少一个。本公开的方法、装置以及存储介质，在训练过程中以正则化项的形式对模型在目标域图像上的语义分割模型推理结果进行约束，对图像语义分割模型进行跨域迁移，提高了图像语义分割模型训练的效率和准确性。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像语义分割模型训练、图像语义分割方法、装置以及存储介质。

背景技术

图像语义分割的目标是辨别图像中的每个像素的语义类别。可以使用神经网络建立深度语义分割模型，深度语义分割模型的训练需要大量带有像素级标注的训练数据，但是，获取这些训练数据是十分昂贵且缓慢的。目前，在模型训练中使用计算机合成的图像，但是，计算机合成的图像和真实图像存在着较大的差异，这一差异导致使用合成图像训练的语义分割模型在真实图像上表现不佳，即出现“域失配”的现象。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种图像语义分割模型训练、图像语义分割方法、装置以及存储介质。

根据本公开的一个方面，提供一种图像语义分割模型训练方法，包括：构建用于对图像进行语义分割的图像语义分割模型；其中，图像语义分割模型为生成式对抗网络模型，包括语义分割模型和判别器模型；基于源域图像对所述语义分割模型进行训练；使用所述判别器模型对所述语义分割模型生成的语义分割图像进行判决处理；构建与所述判别器模型相对应的损失函数；其中，所述损失函数包括：基于所述目标域图像生成的目标域损失函数；所述目标域损失函数包括：基于图像块的语义一致性生成的第一语义损失函数、基于聚类簇的语义一致性生成的第二语义损失函数和基于图像空间逻辑构造生成的第三语义损失函数中的至少一个；根据所述损失函数对所述语义分割模型和所述判别器模型进行调整。

可选地，利用超像素分割算法将所述目标域图像分割为多个超像素；其中，所述图像块与所述超像素相对应；获取所述超像素中的像素被预测为第一类别的第一预测概率；其中，所述第一类别为此超像素对应的类别；根据所述第一预测概率、对所述超像素进行语义一致性的正则化处理的规则生成所述第一语义损失函数。

可选地，所述第一语义损失函数为：

其中，x_t为所述目标域图像，为所述第一类别，为第i个超像素的第j个像素，为所述第一预测概率，λ_pc为阈值，I_(·)为示性函数，表示第i个超像素的第j个像素是否属于第一类别，i为超像素的编号，j为像素的编号。

可选地，利用残差卷积网络提取所述超像素的特征向量；基于所述特征向量，使用聚类算法将所述超像素进行分簇处理，获取多个聚类簇；获取所述超像素中的像素被预测为第二类别的第二预测概率；其中，所述第二类别为与此超像素所归属的聚类簇对应的类别；根据所述第二预测概率、对所述聚类簇进行语义一致化的正则化处理的规则生成所述第二语义损失函数。

可选地，所述第二语义损失函数为：

其中，x_t为所述目标域图像，为所述第二类别，为第i个超像素S_i中的第j个像素，S_i表示第i个超像素，超像素S_i被归属于第k个聚类簇C_k；λ_cc为阈值，为第二预测概率；I_(·)为示性函数，取值为1或0。