[发明专利]一种基于自注意力的高阶融合网络的图像超分辨率重建方法

说明书

本发明公开了一种基于自注意力的高阶融合网络的图像超分辨率重建方法，其特征在于，包括如下步骤：1）建立重建模型；2）CNN网络特征提取；3）自注意力模块中的自注意力支路特征提取；4）自注意力模块中的主干支路特征提取；5）特征的高阶融合；6）图像重建。这种方法能有效的解决因预处理带来的额外计算量，且能恢复出更多的纹理细节来重建出高质量的图像。

技术领域

本发明涉及智能图像处理技术领域，具体涉及一种基于自注意力的高阶融合网络的图像超分辨率重建方法。

背景技术

近来，深度学习在计算机视觉方面的重大进展已经影响到超分辨率领域中。单幅图超分辨率是一个不适定的逆问题，旨在从低分辨率(Low-Resolution，简称LR)图像中恢复出一个高分辨率(High-Resolution，简称HR)图像。目前典型的方法是通过学习LR-to-HR的非线性映射来构造高分辨率图像。Dong等人首先引入了一个三层的卷积神经网络(Convolutional Neural Network，简称CNN)用于图像的超分辨率,提出了基于卷积神经网络的超分辨率重建方法,以端对端的方法学习LR到HR之间的非线性映射关系。得益于残差网路的出现解决了训练深度网络的梯度爆炸/梯度消失等关键问题，应用于超分辨率的网络也往更深更宽的趋势发展。Kim等人受VGG网络启发提出一种非常深的卷积网络重建精准的超分辨率，该网络达到20层，为了加速收敛速度，使用非常高的学习率，运用残差学习与梯度裁剪来解决梯度爆炸问题；Ren等人提出了融合多个单个网络,由于各个网络的输出特征映射具有不同的上下文特征，将其融合来提升整体网络的精度。此外，Lai等人利用金字塔的结构提出了深度拉普拉斯网络用来实现快速准确的超分辨率，将LR图像作为输入来减少计算量，以粗到细的方式逐步预测子带的残差图，该工作在超分辨率中利用基于从粗到细的逐步优化方法，更好的去尖锐和模糊。

将深度学习应用于超分辨率领域中，随着网络的加深,其感受区域变得越来越大，使得网络不仅具备局部特征，且能捕捉到更加全局的特征，全局特征的加入更有利于超分辨率纹理细节的恢复。但一味地增加深度会带来巨大的计算量，甚至导致网络难以训练等问题，而且在层层卷积的网络中只能根据低分辨率特征图的空间局部点生成高分辨率细节，没能充分利用特征之间的全局依赖关系进行建模。另一方面，自注意力机制在建模全局依赖关系以及计算效率上表现出良好的性能，特别是，Zhang等人对自注意机制捕捉模型内部的全局依赖关系进行了研究,可以使用来自所有特征位置的关联生成细节信息。自注意力机制的出现为超分辨率重建获取全局特征来恢复纹理细节提供了新思路。

目前，在超分辨率重建中融合不同网络分支，大部分的方法都是采用相加或级联来获取融合特征，但不能完全捕捉特征之间的复杂联系。最近的工作表明，高阶统计表示比一阶统计可以捕获更多的判别信息，并将高阶统计集成到深度卷积神经网络中可以实现令人印象深刻的改进。

发明内容

本发明的目的是针对现有技术的不足，而提出一种基于自注意力的高阶融合网络的图像超分辨率重建方法。这种方法能有效的解决因预处理带来的额外计算量，且能恢复出更多的纹理细节来重建出高质量的图像。

实现本发明目的的技术方案是：

一种基于自注意力的高阶融合网络的图像超分辨率重建方法，与现有技术不同的是，包括如下步骤：

1)建立重建模型：所述重建模型包括串联的卷积神经网络和自注意力模块，其中卷积神经网络设有残差单元和反卷积层、自注意力模块包括并联的注意力支路和主干支路，注意力支路与主干支路的输出相融合为特征的高阶融合，通过重建模型将低分辨率图像生成高分辨率图像；

2)CNN网络特征提取：直接以原始低分辨率图像作为步骤1)建立的CNN网络的输入，CNN网络的输出为粗精度的高分辨率特征；

3)自注意力模块中的自注意力支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的自注意力支路，自注意力支路的输出为自注意力特征H(x)；