[发明专利]一种基于多尺度反馈网络的图像超分辨率重建方法

说明书

本发明涉及一种基于多尺度反馈网络的图像超分辨率重建方法，包括如下步骤：(1)建立图像数据集；(2)提取输入图像的特征，其次用多尺度上、下投影单元递归实现低分辨率和高分辨率的特征映射，得到不同深度的高分辨率特征图，然后把高分辨率特征图用卷积计算得到残差图像，最后对低分辨率图像插值并与残差图像相加得到输出的图像；(3)用数据集训练多尺度反馈网络，生成训练后的网络模型；(4)将待处理的低分辨率图像输入训练好的网络中得到输出的高分辨率图像。本方法不但通过较小的参数调整就可以训练不同深度的网络以及扩展到其他放大倍数、节约了训练成本，而且可以实现更大倍数的放大，提高重建图像的峰值信噪比和结构相似性。

技术领域

本发明涉及一种基于多尺度反馈网络的图像超分辨率重建方法，属于计算机视觉领域和深度学习领域。

背景技术

图像超分辨率(Super-resolution,SR)重建技术是计算机视觉领域中一项重要的图像处理技术，广泛应用于医学成像、安全监控、改善遥感图像质量、图像压缩和目标检测领域。图像超分辨率重建旨在建立一个合适的模型把低分辨率(Low Resolution,LR)图像转换成相应的高分辨率图像(High Resolution,HR)。由于一个给定的LR图像输入对应多个可能的HR图像，因此SR重建问题是一个具有挑战性的病态逆问题。

目前，提出的SR重建方法主要分为三大类，分别为基于插值的方法、基于重建的方法和基于学习的方法。其中，基于深度学习的SR方法以其优越的重建性能近年来受到广泛关注。SRCNN作为深度学习技术SR领域的开山之作，充分展示了卷积神经网络的优越性。因此很多网络以SRCNN架构为基准提出了一系列基于卷积神经网络的SR方法。深度作为一个重要因素可以为网络提供更大的感受野和更多的上下文信息，然而增加深度却极易引发两个问题：梯度消失/爆炸和大量的网络参数。

为了解决梯度问题，研究者提出残差学习，并成功训练了更深的网络，此外，也有一些网络引入密集连接来缓解梯度消失问题并鼓励特征重用；为了减少参数，研究者提出了递归学习来帮助权重共享。得益于这些机制，很多网络都倾向于构造更深更复杂的网络结构以获得更高的评价指标，然而经研究发现，目前很多网络都存在以下问题：

第一、很多SR方法虽然实现了深度网络的高性能，却忽略了网络的训练难度，导致需要花费庞大的训练集，投入更多的训练技巧和时间。

第二、大多数SR方法都以前馈的方式直接从LR输入中学习分层特征表示并映射到输出空间，这种单向映射依赖于LR图像中的有限特征。并且很多需要预处理操作的前馈网络只适应于单一的放大倍数，迁移到其他倍数需要繁琐的操作极度缺乏灵活性。

发明内容

本发明为了解决现有技术中存在的问题，提供一种基于多尺度反馈网络的图像超分辨率重建方法。其特征在于，包括如下步骤：

步骤一、利用图像退化模型建立数据集；

步骤二、构建多尺度反馈网络，所述多尺度反馈网络包括图像特征提取模块、图像特征映射模块和高分辨率图像计算模块；

步骤2.1、图像特征提取；

将网络输入的LR图像I_LR输入特征提取模块f₀产生初始LR特征图L⁰；

L⁰＝f₀(I_LR)

令conv(f,n)表示卷积层，f为卷积核大小，n为通道数；上式中f₀由2个卷积层conv(3,n₀)和conv(1,n)组成，n0表示初始低分辨率特征提取层的通道数，n表示特征映射模块中的输入通道数；先利用conv(3,n₀)从输入中产生带有低分辨率图像信息的浅层特征L⁰，再利用conv(1,n)将通道数从n₀降为n；