[发明专利]基于高频信息特征融合的图像超分辨率重建方法

说明书

本发明公开了一种基于高频信息特征融合的图像超分辨率重建方法，其构建生成网络，包括特征预提取模块、残差网络、上采样模块、输出模块；使用训练图像集对生成网络进行预训练，得到生成网络预训练模型；构建基于高频信息特征融合的生成对抗网络，包括生成网络和判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成；使用训练图像集对生成网络和判别网络进行对抗训练，得到生成网络训练模型和判别网络训练模型；生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像；优点是利用其重建的重建图像的纹理细节更丰富。

技术领域

本发明涉及计算机视觉及人工智能技术，尤其是涉及一种基于高频信息特征融合的图像超分辨率重建方法。

背景技术

单图超分辨率(SR，super resolution)的作用就是使低分辨率(LR，lowresolution)图像恢复到高分辨率(HR，high resolution)图像，其在计算机视觉领域一直都是一个活跃的话题，在医学影像、相机摄影和气象检测等领域有着重要的应用价值。单图超分辨率是一个典型的不适定问题，问题没有唯一解，每一个低分辨率可以生成多个高分辨率，目前的图像超分辨率方法主要是学习高分辨率图像和低分辨率图像之间的映射，使超分辨率图像更加接近高分辨率图像。

传统的图像超分辨率方法有线性插值方法、双三次插值方法、双线性插值方法以及Lanczos滤波器方法，这些方法具有速度快的优点，但是处理后的图像会表现出严重的纹理缺失现象，这是因为传统的图像超分辨率方法并没有根据高分辨率图像和低分辨率图像之间的映射关系进行超分辨率操作。随后基于复杂学习的方法也被广泛用于解决超分辨率问题，例如：Neighbour Embedding(邻域嵌入)、Sparse Coding(稀疏编码)和RandomForests(随机森林)曾被采用，然而这些方法只能对一种类型的图像进行重建，比如对遥感图像进行重建，若下次想要重建手机拍摄的照片，则重建的时候需要重新训练，适用范围较窄。

发明内容

本发明所要解决的技术问题是提供一种基于高频信息特征融合的图像超分辨率重建方法，利用其重建的重建图像的纹理细节更丰富，且其适用范围广。

本发明解决上述技术问题所采用的技术方案为：一种基于高频信息特征融合的图像超分辨率重建方法，其特征在于包括以下步骤：

步骤1：选取至少501幅RGB图像；然后对每幅RGB图像进行预处理，得到每幅RGB图像对应的尺寸为24×24且包含有高频信息的低分辨率图像；再将至少500幅尺寸为24×24且包含有高频信息的低分辨率图像构成训练图像集，将剩余的尺寸为24×24且包含有高频信息的低分辨率图像构成测试图像集；

步骤2：构建基于残差网络的生成网络：其包括特征预提取模块、包含有18个残差块的残差网络、基于PixelShuffle的上采样模块、输出模块，特征预提取模块对输入的低分辨率图像进行特征预提取，残差网络对特征预提取模块预提取的特征进行特征提取，上采样模块对残差网络提取的特征进行两次上采样操作，输出模块对上采样操作后得到的特征进行特征映射，并输出通道数为3的超分辨率图像；其中，低分辨率图像的尺寸为24×24，超分辨率图像的尺寸为96×96；

步骤3：将训练图像集中的每幅低分辨率图像输入到基于残差网络的生成网络中进行预训练，预训练过程中采用MSE损失函数；

步骤4：使用训练图像集按照步骤3的过程进行至少300轮预训练，得到生成网络预训练模型；