[发明专利]一种基于深度学习的单幅图像多尺度超分辨重建方法

说明书

本发明公开了一种基于深度学习的单幅图像多尺度超分辨重建方法，具体为：制作图像的增广数据集；将增广数据集中的图像下采样，得到的分辨率图像块对应的低分辨率图像块；将低分辨率图像输入网络中；通过SmoothL1优化损失函数，不断迭代更新网络参数，最后得到细节纹理真实的高分辨率图像。本发明解决了现有技术中存在的外部数据集对不同任务造成的训练结果的不确定性，以及数据集庞大，训练效率低的问题。

技术领域

本发明属于数字图像处理方法技术领域，涉及一种基于深度学习的单幅图像多尺度超分辨重建方法。

背景技术

图像是我们传递信息的一种载体，高分辨率图像包含了更多的细节信息，可以帮助我们获得更多有用的信息。但现实世界中，我们并不是总能获得高分辨率图像，往往因为硬件设备的干扰，使得我们只能得到各种含有模糊的，加了噪声的，或被下采样的低分辨率图像。超分辨率重建技术就是在这样的背景下提出的，通过特定的算法对低分辨率图像进行重建，从而得到可以为我们所用的高分辨率图像。超分辨率重建技术出现后，便被广泛应用到各个领域。如生物信息识别，辅助机器进行面部识别，指纹识别，虹膜识别等；视频信息增强，修复老电影，帮助我们将标清视频转化成高清视频；医学诊断，帮助医生做出更准确的判断等。

深度学习的兴起也为超分辨率重建任务带来了巨大的进步，基于深度学习的超分辨率重建方法通过数据集中高、低分辨率图像之间的映射关系来训练网络，网络一经训练好，便可以完成超分辨率重建任务，把我们输入的低分辨率图像转化为高分辨率图像。但这些基于外部数据集的方法也存在一些弊端：比如无法确保数据集中包含了用于训练的所有映射关系；其次网络模型过于庞大复杂，对于需要进行多尺度训练的任务来说非常不友好；而且现实世界中的图像往往不存在特定的降质模型，所以使用基于外部数据集的网络模型进行重建时，那些现实世界中的图像往往得不到很好的重建效果。因此，我们将深度学习与内部数据集相结合，数据集中的所有数据均来自与测试图像本身，不包含任何外部数据。解决了外部数据集存在的缺陷，同时利用图像在多尺度范围内的自相似特点，重建出细节信息更加真实的高分辨率图像。

发明内容

本发明的目的是提供一种基于深度学习的单幅图像多尺度超分辨重建方法，解决了现有技术中存在的外部数据集对不同任务造成训练结果的不确定性，以及数据集庞大、训练效率低的问题。

本发明所采用的技术方案是，一种基于深度学习的单幅图像多尺度超分辨重建方法，具体包括如下步骤：

步骤1，制作测试图像的训练数据集；

步骤2，对步骤1中制作出的训练数据集中的每一张图像进行下采样处理，得到低分辨率图像；

步骤3，将步骤2中得到的低分辨率图像输入到图像超分辨重建网络中进行处理，得到超分辨率图像SR；

步骤4，将步骤3得到的超分辨率图像SR与步骤1训练数据集中的图像做逐像素损失，通过迭代最小化损失函数，经过若干次迭代训练后，获取最优的图像超分辨重建网络结构参数。

步骤5，设定图像超分辨重建网络的超参数，将需要进行超分辨率重建的测试图像输入到步骤4训练后的图像超分辨重建网络结构中，获得边缘清晰的高分辨率图像。

本发明的特点还在于：

步骤1的具体过程为：取单幅测试图像，对单幅测试图像进行旋转、平移、翻转后，获得增广数据集，该增广数据集即为制作出的训练数据集。

步骤3的具体过程为：

步骤3.1，构建图像超分辨重建网络，该网络包括：单一尺度特征映射模块、跨尺度特征映射模块、多尺度特征融合模块、全局特征提取模块四个部分；

步骤3.2，将步骤2中获得的低分辨率图像输入到跨尺度特征映射模块中，通过跨尺度特征映射模块对低分辨率图像进行处理，得到跨尺度映射特征图F_cs；