[发明专利]一种基于注意力机制的视差优化方法

权利要求书

1.一种基于注意力机制的视差优化方法，其特征在于，包括如下步骤：

使用视差预估主干网络对双目视觉图像进行初始视差值计算，得到预测视差值,所述双目视觉图像包括左图像及右图像；

设置多层次信息提取子网络，将注意力机制模块嵌入到子网络中，将左图像输入后，得到两幅不同维度的特征图；

将子网络提取的特征图与视差预估主干网络中不同位置的特征图在对应维度上合并，进行细化视差值计算；

采用监督回归损失函数端对端训练网络，所述网络包括视差预估主干网络和多层次信息提取子网络；

将待预测的双目视觉图像输入完成训练的网络中，得到对应的视差预测值；

所述多层次信息提取子网络包括残差卷积模块，所述残差卷积模块分别与两个注意力机制模块输入端连接，一个注意力机制模块与二维卷积层连接，另一个注意力机制模块与三维卷积层连接；

所述设置多层次信息提取子网络，将注意力机制模块嵌入到子网络中，双目视觉图像输入后，得到两幅不同维度的特征图，具体为：

将双目图像中的左图像下采样后输入多层次信息提取子网络中，使用残差卷积模块获取初始二元特征；

获取的初始二元特征分别输入到两个注意力机制模块中，得到两个细化二元特征，其中一个细化二元特征输入多个二维卷积层中得到输出三维特征图F₀₁，其大小为H×W×C，这里H代表特征图高度，W代表特征图宽度，C代表特征图通道数；

另一个细化二元特征输入多个三维卷积层中得到输出四维特征图F₀₂，其大小为H×W×D×F，H代表特征图高度，W代表特征图宽度，D代表视差值，F代表特征大小；

所述将子网络提取的特征图与视差预估主干网络中不同位置的特征图在对应维度上合并，进行细化视差值计算，具体为：

分别使用二维反卷积和三维反卷积对F₀₁和F₀₂进行上采样，得到新的三维特征图F₀₁′和四维特征图F₀₂′；

将F₀₁′和F₀₂′与视差预估主干网络中不同位置的特征图在对应维度相合并，融合相关特征信息。

2.根据权利要求1所述的视差优化方法，其特征在于，所述视差预估主干网络包括两个权值共享的残差卷积模块、两个权值共享的膨胀空间金字塔模块及卷积层。

3.根据权利要求2所述的视差优化方法，其特征在于，使用视差预估主干网络对双目视觉图像进行初始视差值计算，得到预测视差值，具体为：

将左右双目图像依次输入使用共享权重的残差卷积模块和膨胀空间金字塔模块进行特征提取，得到左右二元特征图；

左右二元特征图按视差等级对应连接，构建四维代价体积模块，该四维代价体积为H×W×D×F，其中H代表特征图高度，W代表特征图宽度，D代表视差值，F代表特征大小，然后使用三维卷积进一步对该四维代价体积进行正则化；

使用softmax回归函数对正则化思维代价体积进行视差回归计算，得到预测视差值

4.根据权利要求1所述的视差优化方法，其特征在于，所述监督回归损失函数如下：

其中，N表示标记的像素数目,_i代表真实的视差值,代表网络预测的视差值，定义如下：

5.根据权利要求3所述的视差优化方法，其特征在于，预测视差值

式中，D_max代表预测视差的最大值，d代表每个视差值的可能性大小，σ(·)代表softmax函数，C_d正则化后的代价体积。

6.根据权利要求1所述的视差优化方法，其特征在于，所述注意力机制模块的表达式如下：

式中，F_s表示最终生成的特征图，δ是批标准化操作,使用1×1的卷积层进行特征图聚合和通道数量调整,_i和E_j分别表示空间注意力特征图和通道注意力特征图,₀表示输入的原始特征图。