[发明专利]一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备

说明书

本发明实施例涉及一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备。所述方法将输入的低分辨率图像重建为目标分辨率放大倍数S的高分辨率图像，包括确定分辨率放大倍数S′＝2supgt;a/supgt;的超分辨率卷积神经网络，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置卷积层；根据输入的低分辨率图像，基于目标分辨率放大倍数S和分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建。本发明实施例能够适应任何放大倍数要求的超分辨率图像处理，有益于超分辨率处理精度的提升。

技术领域

本发明属于图像处理技术领域，具体涉及一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备。

背景技术

图像超分辨率技术(Super-Resolution)是指从低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。图像超分辨率技术可分为两类，一类是从从多张低分辨率图像重建出高分辨率图像，另一类是从单张低分辨率图像重建出高分辨率图像。

对于低分辨率图像，可能存在许多不同的高分辨率图像与之对应，通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统方法中，所述先验信息可以通过若干成对出现的低-高分辨率图像学习得到，基于深度学习的超分辨率技术是以端对端的方式直接学习低分辨率图像到高分辨率图像的映射。

现有技术中，基于深度学习的图像超分辨率方法包括超分辨率卷积神经网络SRCNN(Super-Resolution Convolutional Neural Network)、快速超分辨率卷积神经网络FSRCNN、有效亚像素卷积神经网络ESPCN(Efficient Sub-Pixel Convolutional NeuralNetwork)LaplacianSR等。这些方法中，存在的主要缺陷在于：对图像中存在的不同尺度的目标，超分辨率的锐化效果不一致，即不同尺度目标的效果兼容性差；由于卷积特征图惯用的上采样反卷积造成图像中呈现格子状纹理，即上采样带来的棋格效应。

发明内容

为了解决上述不同尺度目标的效果兼容性差及图像的棋格效应的技术问题，本发明实施例提出了一种超分辨率图像重建方法，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：

超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2^a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；

超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；

高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

进一步，在所述超分辨率卷积神经网络的输入层图像的确定步骤中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。

进一步，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。

进一步，所述方法还包括超分辨率卷积神经网络分辨率放大倍数S′确定步骤，其中，根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2^a；