[发明专利]一种基于级联网络的轻量图像超分辨率重建方法

说明书

本发明属于图像处理技术领域，主要是涉及一种基于级联网络的轻量图像超分辨率重建方法。该方法主要包括以下步骤：步骤1：获得数据集高分辨率目标图像，并进行下采样的预处理；步骤2：设计基于注意力机制和级联网络的轻量图像超分辨率重建网络；步骤3：设计训练策略及训练参数，优化模型参数。本发明经过训练优化之后，可以提供一种具备体积小、重建质量高的图像超分辨率重建方法。

技术领域：

本发明属于图像处理技术领域，主要是涉及一种基于级联网络的轻量图像超分辨率重建方法。

背景技术：

一般而言，对于一张图像而言，更高的分辨率代表具备更多、更丰富的图像细节。但是受限于成像设备体积、成本等因素的影响，最终呈现出来的图像往往达不到人们的实际需求。在这样的背景下，通过低分辨率的图像重建出高分辨率图像的图像超分辨率重建技术受到了学术界的广泛的关注，并广泛的应用于视频监控、医学等领域。因此，研究适用范围广、重建质量高的超分辨率重建算法具备重要的理论价值和实际意义。

大多数超分辨率重建方法都是通过不断堆叠网络的深度来提升重建的效果，虽然这些算法往往能够取得比较好的效果，但是由于网络体积较大，计算量大，难以应用到实际应用中。常规上进行特征提取一般是用常规卷积，随着网络模型的发展，深度可分离卷积和分组卷积等技术在深度学习领域取得了突出的成果。现有的图像超分辨率重建领域的轻量网络主要从几个角度解决问题：设计有效的上采样方式和特征提取模块，减少网络的深度。虽然都在比较轻量的情况下取得了比较好的效果，但是还具备进一步的提升空间。本文设计了一种基于级联网络的轻量图像超分辨率重建，首先设计轻量的多尺度特征提取模块，随后使用注意力机制对不同的特征进行加权。最后使用级联机制融合不同级别的通道特征。基于本方案设计的超分辨率重建网络能够满足实时性的需求，同时质量优于同级别网络复杂度超分辨率重建网络。

发明内容

本发明提出一种基于级联网络的轻量图像超分辨率重建方法，针对现有超分辨率重建方法体积大且难以在实际中应用的问题，提出一种无监督的超分辨率重建方法，并通过金字塔生成对抗网络对重建结果进行优化，从而得到符合图像特征的超分辨率重建网络，该方法在有效减少训练时间的同时提升了重建图像的感知质量。

本发明的技术方案如下：

S1：图像获取。获取DIV2K数据集，将.PNG数据转换成.npy数据格式。

S2：在S1基础上，对.npy数据进行裁剪，裁剪大小为128×128的高分辨率图像HR，随后下采样得到低分辨率图像LR，形成高低分辨率图像对。

S3：在S2基础上，使用卷积设计低层特征提取网络进行特征提取，提取到的特征表示为F_L。

F_L＝Conv2d3x3(LR,3,64)

其中Conv2d3x3表示卷积核大小为3的常规卷积，通过这种方式来提取网络的浅层特征。式中3和64分别表示输入和输出通道数。

S4：将S3中取得的特征F_L作为深度特征提取网络的输入，通道1通过如图1所示的FE模块进行特征提取，最后使用卷积核大小为1的标准卷积进行通道降维：

F_FE1＝Conv1x1(σ(GConv₄(DWConv_3x3(F,3,64),64,64)),64,32)

其中DWConv3x3表示卷积核大小为3的深度卷积，GConv4则表示分组数为4的分组卷积，σ表示ReLU激活函数。Conv1x1表示卷积核大小为1的常规卷积。

通道2首先通过通道1的特征提取方式进行特征提取之后，进行通道重组，再通过FE模块进行二次的特征提取。随后同样使用1x1卷积进行通道的降维。