[发明专利]一种基于深度学习的图像超分辨率重建方法

说明书

本发明公开了一种基于深度学习的图像超分辨率重建方法，其目的在于利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，其技术关键在于(1)对数据集进行下采样处理；(2)利用残差原理，将不同层间的卷积激活结果相加；(3)训练数据分为有标签和无标签两类，两种情况对应两种损失数；(4)整合两类情况，获得最终的损失函数。本发明输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。本发明在不改变成像系统硬件设备的前提下，有效提高所获取的图像质量。

技术领域

本发明属于图像处理领域，尤其涉及一种基于深度学习的图像超分辨率重建方法。

背景技术

图像超分辨率(super resolution,SR)是从一个低分辨率图像得到高分辨率图像的过程，该技术主要被用于对图像空间分辨率的增强，其可以突破原有的系统成像硬件条件的限制，重新获得的高分辨率图像具有更高的分辨率，更多的细节信息，更高质量的画质的特点，是目前获取高精度图像的最有效、最低成本的途径之一。

图像获取过程中，受成像条件和成像方式等因素的限制，成像系统通常并不能获取原始场景中的所有信息，在成像过程中会受到变形、模糊、下采样和噪声等诸多因素的影响，从而造成获取的图像质量下降。因此，在不改变成像系统硬件设备的前提下，有效提高所获取的图像质量，一直以来都是成像技术领域所致力解决的和核心问题。该项技术的研究具有重要的意义。

图像超分辨率复原技术主要分为两大类，即基于重建的方法和基于学习的方法。目前有以下几种基于学习的代表性方法：Dong等率先将卷积神经网络引入到图像超分辨率问题当中，设计了基于深度卷积神经网络的图像超分辨率复原方法(Super resolutionusing convolution neural network,SRCNN)。Kim等在SRCNN的基础上借鉴用于图像分类的VGG网络结构，提出极深网络的图像超分辨率复原方法(Accurate image super-resolution using very deep convolutional network,VDSR)。与图像分类的极深网络不同，极深网络的超分辨率方法可以用更深网络对低分辨率图像和高分辨率图像之间映射关系建模。VDSR的方法具有20层深层网络，其缺乏层间信息反馈及上下文信息关联，为了解决此问题，Kim等提出了深度递归卷积神经网络的超分辨率方法(Deeply recursiveconvolutionak network,DRCN)。Christian等将生成式对抗网络用语SR问题,提出(Photo-Realistic Single Image Super-Resolution Using a Generative AdversarialNetwork,SRGAN)。其出发点是传统方法一般处理的是较小的放大倍数，当放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节信息上的真实感。因此SRGAN使用GAN来生成图像中的细节。Bee Lim等提出了用于单一图像超分辨率的增强型深度残差网络(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR)，是NTIRE2017夺冠论文。

虽然已有多种超分辨率复原方法，但是实际应用中仍存在一下问题：

(1)SR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应。

(2)真实多媒体应用中获得的低质量图像往往是多种降质因素并存的复杂降质图像，如低分辨率、失焦模糊、运动模糊、压缩失真和噪声等。

发明内容

本发明的目的在于针对上有技术的不足，提出一种基于深度学习的图像超分辨率重建方法，利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，从而达到超分辨率的效果。

本发明采用的技术方案是：

一种基于深度学习的图像超分辨率重建方法，包括以下步骤：