[发明专利]基于多注意力机制融合的轻量级双目图像超分辨率方法

说明书

本发明公开了一种基于多注意力机制融合的轻量级双目图像超分辨率方法，主要解决双目图像超分辨率任务中模型性能和计算效率难以达到平衡的问题。首先，引入修正的二值化特征融合框架融合通道注意力和空间注意力机制下提取的多级图像特征；其次，通过双通道注意力机制对双目图像进行全局视差信息的提取，同时引入金字塔采样机制减少模块计算量。经实验证明，本发明实现了较少参数下超分辨率性能的较大提升，证实了轻量级网络在双目图像超分辨率任务中的可移植性。

技术领域

本发明涉及一种基于多注意力机制融合的轻量级双目图像超分辨率方法，属于图像处理技术领域。

背景技术

双目视觉受仿生学的启发，人类的左右眼因为位置的不同，所见场景的差异形成关于景象的三维空间感知，双目视觉就是使用双目相机来仿生这种视觉感知机制，构造出类似于人眼的通用双目立体视觉感知系统。

与单幅图像超分辨率不同，双目超分本质上是多输入多输出的过程，输入低分辨率的左右视图，需要重建出相应的高分辨率双目图像。如果将双目图像看作视频中的前后帧，该任务即简化为具有两帧图像的视频超分任务，但双目图像的交互关系是通过视差表征的，与视频帧间的微小运动偏移不同，研究方法有较大的差别。同时，由于第二视角的图像能够为单幅图像提供额外信息，若将其看作为有参考的单图超分任务，能够提供的信息仅限于低分辨率场景下的信息，对于高级特征的重建效用极小。所以，双目图像超分辨率既要在单图超分的基础上利用图像间的相关信息，也要在传统多幅图像超分辨率任务中加入视差补偿机制。

大多基于图形分类、语义表征等计算机视觉任务的轻量化网络设计在近几年逐渐提出，其中包括经典的MobileNet、XCeption等结构，且大多也被引入图像超分领域中，取得了较好的效果。随着注意力机制的加入，网络性能进一步提升的同时，如何降低高效注意力机制的参数量也是该方向在研究的重要课题之一。对于双目图像超分辨率任务，模型的轻量化一方面需要考虑到特征提取主干网络的高效，也要能够在双目特征匹配阶段尽可能保证性能的同时减少参数开销。

发明内容

技术问题：本发明的目的是提供一种基于多注意力机制融合的轻量级双目图像超分辨率方法，针对双目超分辨率任务中模型性能和运行效率难以平衡的问题，通过对单幅图像超分辨率方法中现有的轻量化模型进行探讨，寻找符合双目图像超分辨率网络的轻量化设计思路。

技术方案：针对双目超分辨率任务中模型性能和计算效率难以达到平衡的问题，本发明在研究单图超分辨率轻量级网络的基础上，提出一个基于多注意力机制融合的轻量级双目图像超分辨率方法，具体步骤如下：

步骤1：构建网络模型

以低分辨率左视图图像和右视图图像作为网络输入，并对左视图进行超分辨率处理得到高分辨率的左视图图像；所述构建网络模型包括三个子模块，即特征提取模块、视差注意力提取模块及特征重建模块；

首先，输入低分辨率双目图像对和经过一个3×3卷积层提取左视图图像和右视图图像的浅层特征：

其中，H_sfe代表共享权重的3×3卷积层，和表示从低分辨率双目图形对中分别提取到的左视图和右视图的浅层特征；输入m个共享权值的特征融合组进一步提取较深层次的特征：

上式中，代表第m个特征融合组，同理，和分别代表第m-1和第1个特征融合组，和指浅层特征通过m个特征融合组之后输出的较深层次的特征张量；

之后，在提取到低分辨率图像对的独立特征后，通过基于多尺度金字塔采样机制的视差注意力模块进行双目特征的匹配，输出左视图图像的视差融合特征张量：