[发明专利]基于递归残差网络的超分辨率图像重建方法

说明书

本发明实施例提供一种基于递归残差网络的超分辨率图像重建方法，包括：将低分辨率图像输入训练后的递归残差神经网络中，获取超分辨率重建图像，其中，递归残差神经网络包括若干个残差单元，对于任一残差单元，任一残差单元的输入信息为上一残差单元的输出信息和低分辨率输入图像的高频特征图像。本发明通过局部残差学习而非VDSR所用全局残差学习来训练神经网络，更有助于信息传输和梯度流动，将未插值的低分辨率图像作为输入，最后在网络末端使用去卷积层直接上采样到超分辨率输出图像，并通过在残差单元中引入递归结构，使得参数大大减少，降低了递归残差神经网络的计算复杂度。

技术领域

本发明实施例涉及图像重建技术领域，尤其涉及一种基于递归残差网络的超分辨率图像重建方法。

背景技术

单图像超分辨率(Single image super-resolution,简称SISR)是一种经典的计算机视觉问题，旨在从一个给定的低分辨率(Low-resolution,简称LR)图像中恢复高分辨率(High-resolution,简称HR)图像。由于SISR恢复了高频信息，因此被广泛应用于需要更多图像细节的领域，诸如医疗成像，卫星成像，安全监控等。

现有超分辨率(Super-resolution,简称SR)图像重建方法主要分为三大类：基于插值的SR技术，基于重建的SR技术和基于学习的SR技术。目前的SR算法大多是基于学习的方法，通过学习LR图像和HR图像之间的映射来重建SR图像。

现有技术中常用的几种超分辨率图像重建算法有：SRCNN、FSRCNN、和VDSR。

SRCNN共由三部分组成：第一部分为特征提取，第二部分为特征的非线性映射(卷积神经网络)，第三部分为高分辨图像重建。SRCNN将插值后的LR图像作为输入，直接输出HR图像，从而证明了超分辨率卷积神经网络可以用端到端的方式学习图像间的非线性映射。

FSRCNN的提出旨在加速SRCNN网络，该方法重新设计了SRCNN网络，提出一个紧凑的沙漏形卷积神经网络(Convolution Neural Network,简称CNN)结构。该模型在网络末端引入去卷积层，并重新制定了映射层，在映射之前先缩小输入特征维度，映射之后再扩大特征维度。该模型提速了40多倍，甚至图像有更好的恢复质量。

残差网络(ResNet)是常用的图像分类和目标检测方法，其主要思想是根据输入学习残差函数而非原始函数，这使得深层网络的训练更加简单，而且能由更深的网络获得更好的性能。假设所需的底层映射为H(x)，让堆叠的非线性层来拟合另一个映射：F(x):＝H(x)-x。则原来的映射转化为：F(x)+x。残差映射比原始映射更容易优化。在极端情况下，如果某个恒等映射是最优的，那么将残差变为0比用非线性层的堆叠来拟合恒等映射更为简单，可以通过前馈神经网络的短连接来实现，并且恒等的短连接并不增加额外的参数和计算复杂度。

“Accurate Image Super-Resolution Using Very Deep ConvolutionalNetworks(Kim J,Lee J K,Lee K M.)”文献提出一个非常深的卷积网络(20层卷积层)，简称VDSR，使得精度显著提升。该方法在CNN学习之前要通过双三次插值将原始LR图像上采样到所需尺寸，然后在深层网络结构中重复级联卷积层和非线性层对，每层卷积层使用64个3×3的小型滤波器学习残差映射得到残差图像，最后将插值后的LR输入图像和残差图像相加即为超分辨率输出图像。

作为SR的先驱CNN模型，SRCNN可以以端到端的方式学习LR/HR间的非线性映射，其性能显著优于传统的非深度学习方法。但SRCNN网络只有3层，浅层网络不能学到更多的细节特征，图像恢复质量不佳。

FSRCNN在网络末端引入去卷积层，直接从原始LR图像(无插值)学习映射到HR图像，大大减小了计算复杂度，但其同样使用浅层网络直接学习原始映射函数，不能重建出高质量SR图像。