[发明专利]一种图像分割模型的训练方法、图像分割方法及装置

说明书

本申请实施例涉及计算机视觉技术领域，公开了一种图像分割模型的训练方法、图像分割方法及装置，通过在图像分割模型的现有结构基础上增设对象轮廓确定模型来确定预测轮廓信息，可以引导特征提取子模型学习对象轮廓，可以提升图像分割模型的分割精度。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像分割模型的训练方法、图像分割方法及装置。

背景技术

图像理解一直以来都是计算机视觉技术的研究热点，其核心是根据图像的颜色、形状等信息，将图像划分为多个部分。其中，语义分割主要负责预测图像的语义信息以区分不同的个体，即预测图像中每一个像素对应的语义信息，如天空、建筑、草地、行人、汽车等语义信息。实例分割主要负责标注图像中的不同个体，如可以用实例标识对行人、汽车等个体进行标注，对天空、草地等个体不进行标注。

全景分割是融合语义分割和实例分割的新任务，这一任务要求识别出图像中每个像素的语义信息，并对不同个体进行实例标签。通过对图像进行完整、精细的感知，能够实现对场景全面精准的理解，能够为自动驾驶、场景感知等应用提供支撑。

深度学习作为目前计算机视觉技术的主流研究方法，在全景分割中得到广泛应用。图1是现有全景分割方法的模型结构示意图，其中深度学习模型包括合语义分割子模型和实例分割子模型，通过先基于语义分割子模型和实例分割子模型分别输出对应的分割结果，再将两者融合得到最终的全景分割结果。现有模型结构忽略了语义分割和实例分割存在的较大差距，导致图像在轮廓区域容易发生误分类，进而将影响全景分割的精度，尤其是在弱纹理或具有复杂镂空区域中，全景分割精度更为不佳。

发明内容

本申请实施例提供了一种图像分割模型的训练方法、图像分割方法及装置，可以引导特征提取子模型学习对象轮廓，可以提升图像分割模型的分割精度。

本申请实施例提供了一种图像分割模型的训练方法，包括：

获取样本图像集合；样本图像集合包括多个样本图像和每个样本图像中对象的参考轮廓信息、参考语义信息和参考实例信息；

将每个样本图像输入对象轮廓确定模型，得到每个样本图像中对象的预测轮廓信息；对象轮廓确定模型包括特征提取子模型和轮廓分割子模型；

基于待训练的图像分割模型，得到每个样本图像中对象的预测语义信息和预测实例信息；待训练的图像分割模型包括特征提取子模型和语义实例分割子模型；

基于每个样本图像中对象对应的参考轮廓信息、预测轮廓信息、参考语义信息、参考实例信息、预测语义信息和预测实例信息，对待训练的图像分割模型进行训练，得到训练好的图像分割模型。

进一步地，将每个样本图像输入对象轮廓确定模型，得到每个样本图像中对象的预测轮廓信息，包括：

基于特征提取子模型，对每个样本图像进行特征提取处理，得到每个样本图像中对象的特征图集合；

基于轮廓分割子模型，对特征图集合中的每个特征图进行特征对齐处理，得到目标特征图集合；目标特征图集合中每个目标特征图的尺寸和维度相同；

对每个目标特征图进行特征聚合处理，得到每个样本图像中对象的预测轮廓信息。

进一步地，得到训练好的图像分割模型之后，还包括：

基于每个样本图像中对象的预测语义信息和预测实例信息，确定每个样本图像中对象的待复核轮廓信息；

基于每个样本图像中对象对应的参考轮廓信息和待复核轮廓信息，对训练好的图像分割模型进行训练，得到目标图像分割模型。

相应地，本申请实施例提供了一种图像分割模型的训练装置，包括：