[发明专利]一种基于渐进式迭代反投影的图像超分辨率重建方法和系统

说明书

本发明公开了一种基于渐进式迭代反投影的图像超分辨率重建方法和系统，旨在利用深度卷积神经网络探索一种适应大倍率(如8x)图像分辨率放大任务的方法。该系统包括特征提取模块、渐进式迭代反投影模块、图像重构模块。其中，特征提取模块用于提取输入图像的特征信息，生成多通道图像特征图；渐进式迭代反投影模块用于对输入图像进行细节预测，采用金字塔型反投影单元对图像特征图进行迭代采样，渐进式分级采样在大倍率因子超分辨率重建时避免了传统方法中的一次性映射，提高了大倍率因子模型的训练效率和重建效果；图像重构模块用于图像的多通道特征压缩，恢复出分辨率放大后的三通道RGB图像。

技术领域

本发明涉及机器学习、计算机应用技术领域，具体地涉及一种基于渐进式迭代反投影的图像超分辨率重建方法和系统。

背景技术

图像分辨率表示图像能够提供信息的详细程度，它是衡量图像质量好坏的一个重要指标，可以用单位面积内像素点的数目来定义。分辨率越高表示图像能够提供的可辨识的细节越丰富，所携带的有用信息也就越多。图像超分辨率重建是指利用一帧低分辨率图像或图像序列，最终重建出一帧高分辨率图像)的图像处理技术。重建后的高分辨率图像具有更高的细节分辨能力，在工程实践和实际应用中起到关键作用。

超分辨率重建难点主要在于从低信息量的图片重构至高信息量的图片，缺少必要的细节特征。早年的超分辨率重建代表方法有自适应方法、凸集投影法和正则化方法。这些基于空域的处理虽然能充分利用图像的先验信息，然而受技术所限，它们对低分辨率图像的质量提升相当有限，生成图像丢失了许多细节特征，远不能满足人们对高分辨率图像的需求。

随着机器学习的应用越来越广泛，基于稀疏表示的超分辨率重建研究成为本领域的热门，并诞生了一批基于稀疏表示的超分辨率重建方法，在计算精度和速度上各有所长。然而，图像重建的质量高度依赖于超完备字典中的各个图像块。若需要重建的低分辨率图像块与字典中的图像块相似度不高，会导致重建质量不佳；此外，基于稀疏编码的超分辨率重建对于高分辨率图像细节评估有限，优化不够全面。基于以上原因，研究者们开始寻找能够学习更多细节特征，兼容性更加良好，优化更加全面的方法。

随着近几年深度学习的快速发展，超分辨率重建领域的研究者们也开始将注意力投向深度学习，并提出了一系列应用于图像超分辨率重建的深度学习网络框架：SRCNN、VDSR、ESPCN、SRGAN、LapSRN、EDSR，相较于基于稀疏编码的超分辨率重建方法，这些基于深度学习的超分辨率网络模型取得了更高的精确度。

应用深度学习的超分辨率重建技术已取得了不少突破，然而这些网络通常只针对2x，3x，4x的小倍率超分辨率重建任务，对于大倍率(如8x)的超分辨率重建任务处理效果不佳。本发明的创新点在于使用迭代反投影方法，引入渐进式采样思想，提出了一种金字塔型的迭代反投影深度卷积神经网络模型，克服了传统方法的处理大倍率因子采样时的不足，提高了重建图像的质量。

发明内容

本发明为了满足大倍率超分辨率重建的需求，提出了一种基于渐进式迭代反投影的图像超分辨率重建的方法。本方法通过级联一系列渐进式反投影单元来对输入图像进行带反馈的循环上/下采样，充分利用低分辨率-高分辨率图像块之间的相关性；渐进式分级采样，避免了大倍率因子采样时传统方法中的一次性映射，提高训练效率和生成图像质量。

为实现上述目的，本发明提供技术方案如下：

一种基于渐进式迭代反投影的图像超分辨率重建方法，包括如下步骤：

步骤S1，首先对输入图像进行特征提取，得到多张输入图像的特征图；

步骤S2，利用渐进式迭代反投影方法进一步预测特征图的细节信息，获得放大后的图像，所述渐进式迭代反投影方法是通过构建若干级依次级联的上/下采样反投影单元来实现，每一级反投影单元中，上采样投影单元的数量始终比下采样单元多1；

步骤S3，对放大的图像进行通道压缩，最后输出高分辨率的三通道图像。