[发明专利]基于多注意力机制融合的轻量级双目图像超分辨率方法

权利要求书

1.一种基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，具体包括如下步骤：

步骤1：构建网络模型

以低分辨率左视图图像和右视图图像作为网络输入，并对左视图进行超分辨率处理得到高分辨率的左视图图像；所述构建网络模型包括三个子模块，即特征提取模块、视差注意力提取模块及特征重建模块；

首先，输入低分辨率双目图像对和经过一个3×3卷积层提取左视图图像和右视图图像的浅层特征：

其中，H_sfe代表共享权重的3×3卷积层，和表示从低分辨率双目图形对中分别提取到的左视图和右视图的浅层特征；输入m个共享权值的特征融合组进一步提取较深层次的特征：

上式中，代表第m个特征融合组，同理，和分别代表第m-1和第1个特征融合组，和指浅层特征通过m个特征融合组之后输出的较深层次的特征张量；

之后，在提取到低分辨率图像对的独立特征后，通过基于多尺度金字塔采样机制的视差注意力模块进行双目特征的匹配，输出左视图图像的视差融合特征张量：

其中，H_DCPAM表征双通道视差注意力模块，表示通过视差注意力模块得到的特征张量；

随后，再次使用n个特征融合组对前级特征进行进一步的提取和融合，表征为：

与特征提取阶段类似，表示特征重建阶段的第n个特征融合组，和分别代表第n-1和第1个特征融合组，表示经过n个特征融合组后得到的左视图的融合特征张量；

最后，将经过双三次上采样后的左视图图像与上级输出特征逐像素相加，得到最终的左视图超分辨率重建结果：

其中，H₅和H₃分别指5×5和3×3卷积，H_ps表示像素重组层，H_up为双三次上采样操作，λ₁和λ₂代表可训练的标量参数，为最终超分辨率后的高分辨率左视图；

步骤2：构建双目图像数据集，设置训练参数进行网络训练，

将数据集图像分为训练集、验证集和测试集，设置训练参数对网络模型进行训练，在训练集上进行网络训练得到训练后的网络模型；

步骤3：将待处理双目图像输入到训练后的网络模型中，进行双目图像超分辨率重建。

2.根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，步骤1所述的特征融合块以多注意力融合模块为基础模块，集成了通道注意力、空间注意力及空洞卷积提取的多级特征，并且以修正的二值化特征融合结构为基本架构搭建。

3.根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，步骤1所述的视差注意力模块为双通道注意力模块，旨在提取局部沿极线特征及全局视差信息。

4.根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，步骤1所述多尺度金字塔采样机制，其各级卷积核尺寸为[12，15，18，21]。

5.根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，步骤1所述m＝2，n＝2，且特征提取阶段的左右视图支路的特征融合块数量相同。

6.根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，步骤1所述低分辨率左视图图像和右视图图像，通过对调左右视图低分辨率图像可以以同样方式重建高分辨率右视图图像。

7.根据根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法，其特征在于，步骤2对网络模型进行训练过程中，使用超分辨率损失为损失函数。