[发明专利]一种基于注意力机制的图像立体匹配方法及双目设备

说明书

本发明提供了一种基于注意力机制的图像立体匹配方法及双目设备，方法包括：将左右视图经过极线约束和中值滤波后输入到深度学习残差网络中，分别获得图像特征信息；将图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；将含有细节纹理信息的特征图首先进行卷积操作，再级联起来构建匹配代价卷；将匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳跃连接，得到含有细节纹理的3D代价卷；将含有细节纹理的3D代价卷进行3D反卷积操作，再进行可微分的柔性Argmin操作得到最终视差图，本发明能够解决现有方法对立体图像在弱纹理以及遮挡区域匹配效果差的问题。

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于注意力机制的图像立体匹配方法及双目设备。

背景技术

立体匹配(Stereo Matching)是一种从二维平面图像对中利用相似三角形原理获取视差值进而恢复深度信息的一门技术，同时也是机器视觉理论和应用的基础；其用处涉及三维环境感知与建模、机器人导航、无人驾驶汽车、物体跟踪与检测等，是计算机视觉领域非常重要的一个热点研究方向。

虽然目前国内外很对学者对这个领域进行了深入的研究，也取得了一些较大的进展，发表了很多成熟的立体匹配方法，但是这些方法都普遍存在一个问题，即：传统的算法对立体图像在弱纹理以及遮挡区域匹配效果差的问题。

发明内容

针对现有技术中存在不足，本发明提供了一种基于注意力机制的图像立体匹配方法，解决传统的图像立体匹配方法对立体图像在弱纹理以及遮挡区域匹配效果差的问题。

本发明是通过以下技术手段实现上述技术目的的。

一种基于注意力机制的图像立体匹配方法，包括：

将左视图和右视图经过极线约束和中值滤波后分别输入到深度学习残差网络中，分别获得图像特征信息；其中，所述左视图和右视图是对同一场景从双目视觉设备的左右摄像头拍摄得到的图像；

将获得的图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；其中，所述双通道注意力模块，包括空间注意力模块、像素注意力模块和通道注意力模块；

将从左视图和右视图分别获得的含有细节纹理信息的特征图首先进行卷积操作，然后再级联起来构建匹配代价卷；将得到的匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳跃连接，得到含有细节纹理的3D代价卷；

将含有细节纹理的3D代价卷再进行一次3D反卷积操作得到与原图大小一样的特征图，再进行可微分的柔性Argmin操作得到最终视差图。

优选的，获取细节纹理信息所采用的方式是将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征级联起来，获取细节纹理信息。

优选的，将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征进行级联的方法为通过通道融合器进行级联操作。

优选的，构建匹配代价卷的方法为：将左视图的每一个一元特征和右视图的每一个视差下的特征图级联起来，封装成一个四维代价卷。

优选的，可微分的柔性Argmin公式为：

其中C_d表示匹配代价值，d表示视差值，D_max表示最大视差值，σ(·)表示Softmax操作。

本发明还提供了一种双目设备，包括：

双目视觉摄像机，用于拍摄左右视图；

图像处理器和存储器，所述存储器包含了一系列程序指令，在所述图像处理器执行所述程序指令时，进行如下操作：