[发明专利]一种改进的基于编解码器的图像语义分割方法

说明书

本发明提出一种改进的基于编解码器的图像语义分割方法。首先，改进编码器中空洞空间金字塔池化模块提取图像多尺度特征，再用解码器对提取到的高低级语义信息进行特征图跨层融合；然后使用视觉激活函数提升编解码器网络的空间上下文建模能力；最后，引入优化分支利用边界分支和方向分支生成包含每个像素在各个方向上不同偏移量信息的偏移图，通过坐标映射将解码器生成的粗预测结果图进行细化，生成最终语义分割结果图。本发明利用编解码器提取并融合图像多尺度特征，使用偏移图信息细化类别边界，具有优异的语义分割性能，具有广泛的适用性。

技术领域

本发明涉及图像处理技术，具体来讲，涉及一种采用编解码器结构提取与融合多尺度特征与类别边界优化的图像语义分割方法。

背景技术

图像语义分割作为计算机视觉任务中不同于目标检测和图像分类的基石性技术，为图像中每一像素分配一个预先定义好的表示其语义类别的标签达到像素级分类任务。具体来说，图像语义分割是指从像素级别分辨出图像中的目标对象具体是什么以及目标对象在哪个位置，即先把图片中的目标检测出来，然后描绘出每个个体和场景之间的轮廓，最后将它们分类并对属于同一类的事物赋予一个颜色进行表示。近年来，随着计算机视觉中深度学习技术的发展，图像语义分割在自动驾驶、智能医疗等方面都得到广泛应用。深度神经网络的内在不变性可以学习到密集抽象的特征，比传统根据样本特征设计的系统性能要好很多。

编解码器网络旨在通过解码器对编码器获取的不同尺度特征图信息进行跨层融合，将高级语义信息和低级空间信息有效融合，但单一编解码结构容易造成图像分割小尺度目标丢失和边界模糊问题，所以获取丰富的空间上下文特征信息与分割边界优化研究成为图像语义分割的研究重点。

发明内容

本发明的目的在于解决图像语义分割问题，通过深度学习网络对图像每一像素进行精确分类，经所述方法可分割出图像语义信息。

为了实现上述目的，本发明提供一种采用编解码器提取与融合多尺度特征和类别边界优化的图像语义分割方法，其中主要包括五个部分，第一部分是对数据集进行预处理；第二部分是对输入图像进行特征提取与跨层融合；第三部分是对图像进行语义粗分割；第四部分是粗略预测图边界优化；第五部分是网络训练与测试，预测出最终的分割结果图。

第一部分包括两个步骤：

步骤1，下载语义分割公开数据集，选取场景复杂、细节多样和类别齐全的图像作为训练样本；

步骤2，将训练图像在[0.5，2]范围内进行随机缩放，再对图像进行随机裁剪进行训练，增强训练样本的随机性，防止训练过拟合问题，形成最终的训练集；

第二部分包括两个步骤：

步骤3，将步骤2中的训练样本输入到编解码器网络进行多尺度特征提取和跨层融合，得到融合后的特征图。具体实施如下：

（1）编码器网络用于特征提取和多尺度特征融合，由下采样操作和改进后的空间金字塔池化 (Atrous Spatial Pyramid Pooling ，ASPP) 模块组成。以残差网络作为骨干网络，对输入样本进行1/4下采样，生成低级空间特征图传入解码器备用，再将连续下采样生成的1/16大小的特征图作为改进后的ASPP模块的输入，获取高级语义信息。编码器中改进后的ASPP模块由卷积层、四个膨胀卷积层（膨胀率分别为4、8、12、24）和平均池化层构成，对输入特征图多尺度特征提取，并使用FReLU激活函数进行非线性激活，最后进行Concatenate融合；

（2）解码器网络用于对编码器中不同层级特征进行跨层融合；

步骤4，将步骤2中的训练样本输入到边界优化网络，通过并行网络HRNet提取高分辨率特征图作为边界分支和方向分支的输入；

第三部分包括两个步骤：

步骤5，将步骤3中解码器备用特征图进行通道数调整，与经过反卷积上采样操作的改进后的ASPP模块输出特征图进行Concatenate融合；

步骤6，将步骤5中跨层融合后的特征图通过卷积映射到RGB空间，再通过反卷积操作恢复至输入图像分辨率；