[发明专利]基于弱监督的语义分割模型的训练方法、装置及设备

说明书

本发明提供一种基于弱监督的语义分割模型的训练方法、装置及设备。该方法采用多个预先标注有矩形框标签的训练图像对语义分割模型进行训练，针对每一个训练图像，训练步骤包括：对训练图像的矩形框标签进行编码，得到编码后的标签数据；将训练图像和编码后的标签数据输入至预先训练好的辅助分割网络，得到训练图像的特征图；将训练图像的特征图输入校正网络，得到训练图像的像素级语义分割结果；根据训练图像和训练图像的像素级语义分割结果对语义分割模型进行训练。本发明提供的方法，依据矩形框标签提供的弱监督信息，通过辅助分割网络和校正网络获取像素级语义分割结果，对语义分割模型进行训练，使得语义分割模型的精度得以提升。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于弱监督的语义分割模型的训练方法、装置及设备。

背景技术

语义分割作为计算机视觉的一个重要分支，无论是在学术界还是在工业生产中都有着广泛的应用场景。语义分割致力于预测图像中每个像素点的物体类别，以实现对图像精确、稠密的像素级理解，因此需要像素级标注的训练数据来对语义分割模型进行训练。

由于像素级标注成本耗费巨大，因此为了降低标注成本，通常会采用简化的标注方法，如通过矩形框标签对训练数据进行标注。现有模型训练方法依赖于像素级标注信息，无法基于矩形框标签等弱监督信息获得高精度的语义分割模型。

发明内容

本发明实施例提供一种基于弱监督的语义分割模型的训练方法、装置及设备，用以解决现有训练方法基于弱监督信息训练得到的语义分割模型精度低的问题。

第一方面，本发明实施例提供一种基于弱监督的语义分割模型的训练方法，所述方法采用多个预先标注有矩形框标签的训练图像对语义分割模型进行训练，针对每一个训练图像，训练步骤包括：

对训练图像的矩形框标签进行编码，得到编码后的标签数据；

将训练图像和编码后的标签数据输入至预先训练好的辅助分割网络，得到训练图像的特征图；

将训练图像的特征图输入校正网络，得到训练图像的像素级语义分割结果；

根据训练图像和训练图像的像素级语义分割结果对语义分割模型进行训练。

一种实施例中，对训练图像的矩形框标签进行编码包括：

使用尺寸为H×W×(C+1)的二进制掩码对训练图像进行编码，在每个类别通道上，将属于该类别的像素点置为1，其他像素点置为0，其中，H为训练图像的高，W为训练图像的宽，C为语义分割模型输出的总类别数，1代表背景通道。

一种实施例中，校正网络包括两个并列的卷积分支，每个卷积分支由多个卷积层组成；校正网络的输出包括分类分支、质心分支和回归分支，分类分支用于输出训练图像中各个像素点的类别分类，质心分支用于输出训练图像中各个像素点的中心度，回归分支用于对以训练图像中各个像素点为端点的线段进行回归。

一种实施例中，辅助分割网络采用快速全卷积网络或者金字塔场景解析网络。

一种实施例中，根据训练图像和训练图像的像素级语义分割结果对语义分割模型进行训练包括：

将训练图像的像素级语义分割结果作为语义分割模型的训练标签，计算交叉熵损失；

根据交叉熵损失对语义分割模型进行梯度回传，以调整语义分割模型的网络参数。

一种实施例中，根据如下算式计算交叉熵损失：

其中，L表示交叉熵损失，N为训练样本总数，I表示一个训练图像中的像素总数，C为语义分割模型输出的总类别数，y_ic表示第i个像素类别为c的真实标签的值，p_ic表示第i个像素预测为类别c的预测结果值。