[发明专利]一种基于密集连接网络的图像超分辨率方法

说明书

本发明公开一种基于密集连接网络的图像超分辨率方法，通过加大卷积神经网络的深度，在深度网络中引入大量的跳跃式连接，有效解决深度网络反向传播时的梯度消失问题，优化了信息在网络上的流动，提升了卷积神经网络的超分辨率重建能力。同时，本发明也有效结合了底层特征和高层抽象特征，减少模型参数，压缩了深度网络模型，从而提高了图像超分辨率的重建效率。此外，通过引入深度监督技术，在网络的不同深度都能重建超分辨率图像，不仅优化了深度网络的训练，并且在测试时可以根据测试端的计算能力选择适当的网络深度重建高清图像。最后，本发明利用了多个放大倍数的图像集进行训练，获得的模型可以在多个尺度上进行图像超分辨率，而不用针对每一个放大倍数训练不同的模型。

技术领域

本发明涉及计算机视觉领域与人工智能技术，尤其涉及一种基于密集连接网络的图像超分辨率方法。

背景技术

在计算机视觉领域，大部分的问题都已经开始使用深度神经网络进行解决，并取得了广泛的成功。在众多的计算机视觉任务中，如人脸识别、目标检测与跟踪、图像检索等，使用深度神经网络模型的算法，比传统算法的性能有着极大的提升。在图像的超分辨率重建任务中，最新的工作也已经开始利用卷积神经网络的非线性特征表示能力，提高图像超分辨率的重建效果。经对对现有技术的文献检索发现，专利名称“一种图像超分辨率重建方法”(中国专利公开号CN105976318A，公开日为2016.09.28)和专利名称“基于学习率自适应的卷积神经网络图像超分辨率重建方法”(中国专利公开号CN106228512A，公开日为2016.12.14)使用了深度学习的方法来进行图像超分辨率重建，并取得比传统插值方法更好的重建结果。然而，此专利只采用了3层的卷积神经网络结构，其非线性的特征表示能力和图像重构能力有限。最新的神经网络模型如AlexNet、VGG和ResNet等主要在“宽度”与“深度”方面进行不同程度的扩增，网络的性能就会得到很大的提升。因此，研究并设计一个更深的网络模型对于提升图像超分辨率的重建性能会有极大地帮助。

最简单加深网络模型的方式是把基本构建块(例如卷积层和激活层)堆叠在一起。然而，当网络变得越来越深，其训练和收敛难度也随之相应增加。在网络模型的训练过程中，梯度信号需要从网络最顶层反向传播到最底层，从而更新网络模型参数。对于传统的只有几层的神经网络模型来说，可以通过这种方式达到收敛。然而，对于训练有几十层的网络模型，当反向传播到网络的最底层时，梯度信号已经消失得差不多，底层网络的模型参数不能得到有效的更新和优化。所以，如果采用这种直接堆叠的方式，反而会导致算法性能的下降。为了能够有效训练深度网络，2016年在国际会议CVPR上提出的VDSR算法采用了梯度剪切和残差学习等技术，使得20层的卷积神经网络模型能够有效优化并收敛，比之前的几层网络模型(如中国专利CN105976318A和CN106228512A)的超分辨率重建性能有了极大地提升。但是VDSR算法仍然是把卷积层和激活层简单堆叠在一起，不利于梯度信息的流动，给优化更深的网络带来困难。同时，这种简单的堆叠方式不能有效地利用每层训练出来的特征，而且网络模型参数也很庞大。例如，VDSR算法的20层网络就需要70多万的模型参数，不仅给优化带来困难，也增大了超分辨率重建时的计算复杂度。

最近提出的残差网络结构ResNet和密集网络结构DenseNet等方法通过在网络中引入跳跃连接，从而来试图解决极深网络在优化上带来的问题。通过大量引入跳跃式连接，可以有效缩短底层网络和顶层网络之间的连接通道，这样能够优化信息在网络上的流动，从而有效解决深度网络的梯度消失问题。此外，密集网络结构可以支持特征重用，能够强化特征的传播，并减少模型的参数，降低模型的计算复杂度。本发明充分利用了密集网络的优势，并首次应用在图像超分辨率的任务中，提出SRDenseNet算法，极大地提升了深度网络在图像超分辨率上的重建性能。同时，本发明提出的SRDenseNet算法结合了深度监督技术，使得网络模型各层参数能够更加有效快速的收敛，加快了训练速度，并进一步提升网络模型的超分辨率重建性能。此外，本发明提出的算法融合了多尺度信息，使得训练得到的网络模型可以对多个超分辨率放大倍数进行有效重建。

发明内容