[发明专利]基于残差转换注意力机制的轻量化图像超分辨率重建方法

权利要求书

1.一种基于残差转换注意力机制的轻量化图像超分辨率重建方法，其特征在于，包括以下步骤：

获取轻量化图像数据集，利用双三次插值算法得到所述轻量化图像数据集对应的低分辨率图像；

对所述低分辨率图像进行特征提取得到粗糙特征；

通过堆叠残差转换注意力机制模块对所述粗糙特征进行精炼得到第一中间层特征；对所述第一中间层特征执行卷积层操作得到第二中间层特征；

将所述第一中间层特征、所述第二中间层特征经过图像重建模块生成超分辨率图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述低分辨率图像进行特征提取得到粗糙特征，包括:

定义I_LR为输入的低分辨率图像，浅层特征提取过程表示为：

F_coarse＝H_SFE(I_LR)

其中，F_coarse为得到的粗糙特征，H_SFE(·)为一个3×3的卷积层操作。

3.根据权利要求1所述的方法，其特征在于，所述通过堆叠残差转换注意力机制模块对所述粗糙特征进行精炼得到第一中间层特征F_refined，表示为：

其中，为第k个残差转换注意力机制模块。

4.根据权利要求3所述的方法，其特征在于，所述通过堆叠残差转换注意力机制模块对所述粗糙特征进行精炼得到第一中间层特征F_refined，包括：

对所述粗糙特征进行信息蒸馏和残差学习，表示为：

其中，F_in表示所述粗糙特征，F_ERB表示加强残差特征操作，F_split表示第i次特征分离操作，F_{d_1}表示被蒸馏的特征，F_{r_1}表示送入下一阶段的特征。

5.根据权利要求3所述的方法，其特征在于，还包括：

将网络输入特征和经过深层特征提取模块后的特征加在一起以防止梯度弥散，表示为：

其中，F_1×1conv和F_shuffle分别表示1×1卷积操作和转换注意力机制。

6.根据权利要求3所述的方法，其特征在于，还包括：

通过局部特征加强模块增强特征提取能力，表示为：

其中，H_3×3conv表示为3x3卷积操作，H_ReLU表示为激活函数操作，同时使用跳跃连接把局部特征加强模块的输入输出加在一起。

7.根据权利要求1所述的方法，其特征在于，所述对所述第一中间层特征F_refined执行卷积层操作得到第二中间层特征F_smooth，表示为：

F_smooth＝conv3(F_refined)。

8.根据权利要求1所述的方法，其特征在于，所述将所述第一中间层特征F_refined、所述第二中间层特征F_smooth经过图像重建模块H_RE(·)生成超分辨率图像I_SR，表示为：

I_SR＝H_RE(F_coarse+F_smooth)，

其中，H_RE(·)包含了一个3×3卷积层和一个亚像素卷积层。

9.根据权利要求8所述的方法，其特征在于，还包括：

采用L(θ)损失函数训练网络，表示为：

其中，表示最后输出的高分辨率图像，表示原始的真实高分辨率图像，N表示一批图像训练数据量。

10.一种基于残差转换注意力机制的轻量化图像超分辨率重建装置，其特征在于，包括以下模块：

获取模块，用于获取轻量化图像数据集，利用双三次插值算法得到所述轻量化图像数据集对应的低分辨率图像；

浅层特征提取模块，用于对所述低分辨率图像进行特征提取得到粗糙特征；

深层特征提取模块，用于通过堆叠残差转换注意力机制模块对所述粗糙特征进行精炼得到第一中间层特征；对所述第一中间层特征执行卷积层操作得到第二中间层特征；

图像重建模块，用于将所述第一中间层特征、所述第二中间层特征经过图像重建模块生成超分辨率图像。