[发明专利]基于编解码器的图像语义分割方法及装置

说明书

本发明实施例提供一种基于编解码器的图像语义分割方法及装置，该方法包括：将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的高层语义特征图；将特征图输入图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。由于多个不同尺寸池化层融合了局部和全局信息，多尺度的感受域有助于不同尺寸目标的学习，从而能够得到准确的待检测图像的高层语义特征图。利用解码器进行分析后，得到语义分析的检测结果中目标边界的分割精度更高。

技术领域

本发明涉及基于深度学习的语义分割领域，尤其涉及一种基于编解码器的图像语义分割方法及装置。

背景技术

图像语义分割是计算机视觉领域中的一项关键技术，对图像理解、场景解析和目标跟踪等任务起着至关重要的作用。语义分割是像素级的图像理解，即对图像中的每一个像素标注所属的类别，其任务是将图像分割成若干个有意义的目标，并为各个目标分配指定类型标签。传统的图像分割方法根据图像的颜色、纹理信息和空间结构等特征将图像分割成不同的区域，同一区域内具有一致的语义信息，不同区域之间属性不同。从最简单的阈值分割、区域生长、边缘检测到图划分(Graph partitioning)的分割方法，图像分割方法层出不穷。

目前的由编码器网络和相应的解码器网络实现的方法，在编码器网络中，将图像输入一个预训练的分类网络生成低分辨率的特征图，而在解码器中，通过上采样将低分辨率的特征图映射到原图像尺寸，产生像素级的语义标签，从而获得语义分割的结果。虽然在一定程度上提高了预测结果的准确率，但是目标边界的分割精度仍然有待提高。

发明内容

为了解决上述问题，本发明实施例提供一种基于编解码器的图像语义分割方法及装置。

第一方面，本发明实施例提供一种基于编解码器的图像语义分割方法，包括：将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。

进一步地，所述根据多个不同尺寸池化层的输出结果进行特征融合之前，还包括：对多个池化层的输出结果分别进行批标准化和1×1的卷积操作，以使融合后的特征通道数与卷积层提取的特征图通道数一致。

进一步地，所述将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果，包括：获取编码器的卷积网络提取的低层特征；对待检测图像的特征图进行上采样，得到与所述低层特征维度相同的特征图；将所述低层特征和上采样后的特征图进行特征融合，并进行上采样得到与待检测图像相同维度的特征图；根据所述与待检测图像相同维度的特征图，得到语义分析的检测结果。

进一步地，所述进行上采样，包括：基于双线性插值进行上采样。

进一步地，所述卷积网络包括ResNet101网络。

进一步地，所述将待检测图像输入至预设的图像语义分割网络模型的编码器之前，还包括：获取多个带有确定的语义标签的样本图像；基于包含动量系数的随机梯度下降法和poly学习率更新策略，对建立的图像语义分割网络模型进行训练，以得到所述预设的图像语义分割网络模型。

进一步地，所述获取多个带有确定的语义标签的样本图像之后，还包括：对样本图像进行图像扩张处理；所述图像扩增处理的方式包括，图像水平镜像、图像尺度随机放缩和图像尺寸随机裁剪。