[发明专利]一种基于融合网络的图像多尺度语义分割方法及装置

说明书

本发明涉及一种基于融合网络的图像多尺度语义分割方法及装置，该方法包括以下步骤：构建一融合网络，该融合网络包括fcn基网络、deeplab基网络、特征融合模块和优化分割模块，所述特征融合模块分别连接fcn基网络、deeplab基网络和优化分割模块；通过所述融合网络对输入图像进行语义分割。与现有技术相比，本发明具有分割精度高等优点。

技术领域

本发明涉及视觉图像处理技术领域，尤其是涉及一种基于融合网络的图像多尺度语义分割方法及装置。

背景技术

语义分割是对图像中的每个像素标注其所属类别的过程，是自动驾驶、医学图像处理、图像检索、目标分类等视觉分析技术的基础。

在全卷积网络出现之前，卷积神经网络虽然已在目标识别领域取得了巨大的成功，但受到全连接层与池化层的限制，语义分割领域的主流方法仍是纹理基元森林(TextonForest)或是随机森林(Random Forest)等传统方法。

2014年，加州大学伯克利分校的Long等人提出如图1所示的FCN(FullyConvolutional Network)模型，将传统的CNN末端的全连接层替换为卷积层，正式将卷积神经网络引入语义分割领域。由于全卷积网络舍弃了全连接层，解决了输入图像尺寸受限的问题，可生成任意大小的图像分割图。除了全连接层，限制卷积神经网络应用于语义分割的另一因素为池化层对特征图维度的缩减。FCN模型利用上采样层进行特征图维度的恢复，因而能够实现密集的像素级分类，同时速度上比传统方法要快很多。但上采样层的引入增加了神经网络的参数数量，需要额外的计算时间和内存，且不能将丢失的信息全部无损地找回来，导致物体边界的模糊，并且由于其结构较为单一，各卷积层的卷积核感受野固定，缺乏对不同尺度特征的提取能力。

Liang-Chieh Chen等人于2015年提出的DeepLab v1利用带孔卷积(DilatedConvolution)替换传统卷积核，在不引入额外参数的情况下成倍增大感受野，避免了池化操作带来的细粒度信息丢失。并使用全连接的CRF模型作为其独立的后端处理步骤，整合上下文信息，以对分割结果进行优化。

DeepLab v2在DeepLab v1的基础之上提出了带孔卷积的空间金字塔池化(AtrousSpatial Pyramid Pooling，ASPP)。带孔空间金字塔池化是并行使用多个不同空洞率的带孔卷积层的方法，可以将原始图像的不同尺度传递到CNN网络的并行分支中，通过融合这些不同尺度的特征，实现像素更准确的分类。如图2所示，为了分类橙色的中心像素，ASPP采用空洞率r＝6，12，18，24的四个带孔卷积层对输入特征图进行特征提取。传统方法感受野往往固定，只能提取固定尺度的特征，而ASPP可以融合更多尺度的特征，提高了对中心像素分类的准确度。

虽然DeepLab v2实现了较高的分割精度，但是带孔卷积存在“girdding issue”，即带孔卷积在卷积核两个采样像素之间插入0值，如果扩张率过大，卷积会过于稀疏，捕获信息能力差；且不利于模型学习——因为一些局部信息丢失了，而长距离上的一些信息可能并不相关。

综上所述，FCN网络具有对局部特征良好的提取能力，但其在恢复特征图尺寸时通过上采样直接将特征图放大至原图大小，只能产生平滑的特征图，并缺乏对不同尺度特征的提取能力。而DeepLab虽然通过带孔卷积提取到更加全局的特征，但是却丢失了一些局部信息。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于融合网络的图像多尺度语义分割方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种基于融合网络的图像多尺度语义分割方法，该方法包括以下步骤：

构建一融合网络，该融合网络包括fcn基网络、deeplab基网络、特征融合模块和优化分割模块，所述特征融合模块分别连接fcn基网络、deeplab基网络和优化分割模块；