[发明专利]以空间水平和垂直方向为通道方向的神经网络上采样方法

说明书

本发明涉及一种以空间水平方向和垂直方向为通道方向的神经网络上采样方法，包括下列步骤：第一步：基于卷积和池化的图像下采样。第二步：以水平方向为通道方向的水平方向上采样。第三步：以垂直方向为通道方向的垂直方向上采样：在x‑z空间上利用一个卷积核在x‑z空间上滑动进行卷积。第四步：传统通道方向的通道变换：在x‑y空间上利用卷积核在x‑y空间上滑动进行卷积。

技术领域

本发明涉及基于深度学习、深度卷积神经网络的上采样方法，该上采样方法可以应用到图像语义分割 (Image Semantic Segmentation)、图像超分辨率重建、图像去噪、图像处理、视频处理等应用中。在基于深度学习(主要是深度卷积神经网络)的图像语义分割、图像超分辨率重建、图像去噪、图像处理和视频处理中，上采样是不可或缺的环节。本发明的创新点就在于提出了一种新的上采样方法。

背景技术

以深度卷积神经网络(卷积神经网络简称CNN)为代表的深度学习技术在图像语义分割、图像超分辨率重建、图像去噪、图像处理和视频处理等领域中取得了巨大进展，极大地提高了这些领域的处理性能。这些领域的深度卷积神经网络结构一般有两部分组成。第一部分是特征提取(也称为编码)，该部分通过卷积、下采样(如池化)等过程提取重要的特征。第二部分是特征分析(也称为解码)，该部分通过上采样、误差分析等过程完成所需要的图像语义分割、图像超分辨率重建、图像去噪等任务。在第二部分进行上采样的原因如下：由于下采样使得特征图在空间垂直方向的高度和水平方向上的长度变小，而图像语义分割、图像超分辨率分析、图像去噪等应用需要输出跟输入图像大小一样或者更大的结果，所以在第一部分完成特征提取之后必须进行第二部分，通过上采样实现突出结果的空间大小与输入图像一样或更大的效果。

图1给出了传统深度卷积网络的架构。输入高度为H、宽度为W、通道数为C(对于彩色图像C通常为3，表示3个颜色通道)的图像。通过在水平方向x、垂直方向y构成的x-y空间上的卷积和d倍下采样，使特征图的空间高度降低为H/d、空间宽度降低为W/d、通道数(特征图的个数)增加为L(通常L远大于C，即L＞＞C)。对L个高为H/d、宽为W/d的特征图，进行在x-y空间上的卷积和d倍上采样(对于图像超分辨率重建，上采样的倍数要大于d)，并且经过分类等处理(处理的方法依赖于具体任务)，使得到的输出图的高度增加为H、宽度增加为W(对于图像超分辨率重建输出图的高度要大于H、宽度大于W)。输出通道的个数C′的值跟具体任务有关。

现有方法在上述框架下进行d倍上采样均是通过在x-y空间上的处理完成的。以图像语义分割为例，现有上采样方法可以分为如下几类。(1)采样传统图像缩放的技术完成深度卷积神经网络特征图的上采样。最常见的图像缩放技术是双线性插值。由于插值系数不是通过学习得到的，其图像语义分割性能较差。(2) 基于系数放大和卷积上采样方法：该方法零初始化一个d倍大小特征图，然后用原始特征图的值替换部分零值，最后在对其在x-y空间上进行传统的卷积操作，得到稠密的上采样效果。在SegNet[1]中将编码网络对应的Max-Pooling索引对应的特征值替换零值；在FCN[2]中将原始特征图等间隔插入零值得到初始化的 d倍大小特征图，然后再在x-y空间上进行传统卷积，该上采样方法也称为反卷积(deconvolution)但由于补零，使特征图变的过于稀疏，限制了上采样的效果。诸如PSP[3]、FC-DenseNet[4]等很多图像语义分割方法都采用了基于反卷积的上采样方法。

参考文献：

[1]V.Badrinarayanan,A.Kendall,and R.Cipolla,“SegNet:A DeepConvolutional Encoder-Decoder Architecture for Scene Segmentation,”IEEETransactions on Pattern Analysis and Machine Intelligence,2017.