[发明专利]一种基于注意力机制的逐分辨率提升图像超分辨率复原方法

说明书

本发明公开了一种基于注意力机制的逐分辨率提升图像超分辨率复原方法，主要是基于双重注意力机制的逐分辨率提升超分辨率复原网络，通过引入特征维度与空间维度注意力机制的卷积模块，提升了模型的特征提取能力；进而借鉴对抗神经网络领域逐分辨率提升网络的相关思想，简化了网络学习难度，实现逐分辨率提升的超分辨率复原。最后通过DIV2K数据集对算法性能进行了测试，实验结果表明，本发明方法能够对输入低分辨率图像实现逐分辨率的提升，同一网络可同时实现2～4倍分辨率的提升，且重建图像的PSNR值显著优于当前主流算法。

技术领域

本发明属于图像处理领域中的超分辨率复原研究热点，是一种利用双重注意力机制的逐分辨率提升超分辨率复原网络以获取更高分辨率的单帧图像的方法，不同于目前主流的基于SRCNN、VDSR和SRResNet的卷积神经网络，本方法提升了模型的特征提取能力；简化了网络学习难度，实现逐分辨率提升的超分辨率复原；在公开数据集上得到良好的验证。

背景技术

图像的超分辨率复原问题，特别是单帧图像的超分辨率复原问题，近年来得到了越来越多的关注与研究。其目标是从单一的低分辨率图像重建高分辨率图像。通常情况下，与原始高分辨率图像之间的关系会因情况而异。关于如何解决超分辨率的问题，最近主要使用的是基于深度卷积神经网络的方法。其中深度学习拥有强大的表征能力，这种方法通过学习高低分辨率之间的映射关系对低分辨率图片进行复原。因此，本发明也是以此为背景。

自dong等人首次使用卷积神经网络用于超分辨率复原，提出了一个新的网络模型SRCNN。这种网络模型相对于传统模型，不仅在复原速度上而且在复原质量上都取得了更优秀的结果。Kim等人在VGG-net的启发下对各种网络体系结构进行了研究。首次引入了残差网络来训练更深层次的网络结构，并取得了优异的性能。Yamanaka等人提出了DCSCN网络模型，作者把深度卷积神经网络和残差网络通过网络中嵌套网络的方法组合在一起，来增加网络的感受野提高网络的性能。残差网络的成功应用，证明了深层的网络能学习到更好的特征表示能力。Lim等人提出了EDSR网络模型，EDSR最有意义的模型性能提升是证明SRResNet多余的模块批处理规范化层不适用于超分领域并将此模块去除，从而可以扩大模型的尺寸来提升结果质量。

本发明沿用并改进了残差网络、同时也参照EDSR的网络设计去除掉了批规范化层，提出了双重注意力机制模型，使超分辨率得到了更好的重建。同时在许多基于深度学习的超分辨率算法中，输入图像在进入网络之前通过双三次插值进行上采样。通过这样做，可以在不损失模型容量的情况下减少许多计算，因为特征的大小会减小。然而，这类方法有一个缺点：它们不能在单个框架中处理多尺度问题。本发明利用每个尺度下学习特征之间的相互关系，提出了一种新的多尺度模型，可以有效地逐级重建不同尺度下的高分辨率图像。经实验表明，本发明在超分辨率复原中取得了不错的效果。

发明内容

本发明针对现有技术中存在的上述问题，本发明提供一种基于双重注意力机制和分辨率逐级提升的图像超分辨率复原方法，实现更准确的图像复原表示。

本发明中的超分辨率复原方法主要分为基干网络和超分辨率逐级提升两个部分。基干网络即低分辨率图像和高分辨率图像之间映射关系的建立过程，其中包括集中可变卷积及block模块组成，将训练集Set5、Set14和DIV2K作为网络的输入，然后进行训练，最终保存模型。超分辨率逐级提升是低分辨率图像作为输入，利用低倍分辨率的特征并接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型、以此进行训练。通过不同放缩倍数图像的级联关系输出高分辨率图像。

为实现上述目的，本发明采用如下技术手段：

1、使用双重特征注意力机制