[发明专利]融合多尺度特征空间与语义空间的语义分割网络

说明书

本发明涉及一种融合多尺度特征空间与语义空间的语义分割网络，包括：确定网络编码端的主干网络：VGG16作为编码端网络的主干部分，去掉第五个池化层，减少一次下采样；设计网络解码端的特征空间与语义空间的融合模块；利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割；输出语义分割结果。

技术领域

本发明属于计算机视觉、模式识别、深度学习和人工智能等领域中的场景理解技术，具体而言，特别是涉及在图像或视频中使用深度卷积神经网络对场景进行像素级语义分割的技术。

背景技术

如图1所示，现有的深度卷积神经网络主干部分为了增大深层网络的感受野和减小计算量，通常经过5次1/2倍下采样到输入图像的1/32倍。经过多次下采样之后，小物体和物体的细节部分的特征(比如边缘部分)逐渐被周围的像素区域融合，小物体特征的区分性不断下降。现有的代表性的基于深度神经网络的语义分割方法，比如FCN[1]，在网络最后的预测阶段直接从很小的分辨率放大到原图的尺寸，比如从原图的1/32放大32倍到原图的尺寸。预测阶段过小的分辨率导致小物体和细长的物体部分的特征与周围像素混淆，分类不准，同时在恢复到原图尺寸时在边缘部分出现成片的误分类像素区域。虽然后来改进的工作尝试从网络不同尺度的层进行预测，最后融合不同尺度的预测并放大到原图尺寸。由于网络不同的层的语义级别差异较大，较前的层分类准确度较低，简单的融合多尺度预测带来的提升有限。为了提高预测端特征图的尺度和语义级别，一些编解码结构的网络，比如SegNet[2]和U-net[3]，解码部分采用反卷积网络进行特征图上采样的操作，通过将编码网络部分的多尺度特征直接与解码端对应尺度的特征融合不断提升解码端特征的尺度，同时维持高级语义，获得了更加精细准确的分割结果，增加的计算量取决于解码部分网络的复杂度。另外一些网络在编码部分直接采用膨胀卷积来保持特征图分辨率，比如DeepLab[4]，在维持网络的感受野不断变大的情况下，保持特征图的尺度最小到原图的1/8，带来了一定的提升，但是计算量也同时增加了。为了进一步改善小物体和物体细节部分的分割准确率，一些工作尝试在解码端进行多尺度的渐进式改善工作。在Refinenet[5]中，作者提出了一种refine模块，能够用来改善解码端特征的多尺度融合并提升解码端特征图分辨率，最终在较大尺度的特征图上做像素级的分类，取得了较大的提升。在GCN[6]中，作者采用较大的卷积核以便物体的特征能够被网络相应层级的感受野完整的覆盖，用来改善物体的分类准确度，同时增加边缘修正模块来改善大卷积核带来的边缘语义模糊问题，通过多尺度不断改善预测图的分辨率，取得不错的效果。

但是，现有的大多数工作都只是将图像语义分割当作图像逐像素分类的任务，没有考虑到语义分割对图像中物体的结构性要求和图像中各类像素区域的结构性特征，特别是同类连续像素区域的结构性和相邻不同类像素区域的差异性，导致出现成片的像素区域分类错误和物体边缘分类的模糊性。

参考文献：

[1]Long,J.,Shelhamer,E.,Darrell,T.(2015).Fully convolutionalnetworks for semantic segmentation.In IEEE Conference on computer vision andpattern recognition(CVPR),3431-3440.

[2]Badrinarayanan,V.,Kendall,A.,Cipolla,R.(2017).Segnet:A deepconvolutional encoder-decoder architecture for image segmentation.IEEEtransactions on pattern analysis and machine intelligence,39(12),2481-2495.