[发明专利]一种基于注意力机制的图像立体匹配方法及双目设备

权利要求书

1.一种基于注意力机制的图像立体匹配方法，其特征在于，包括：

将左视图和右视图经过极线约束和中值滤波后分别输入到深度学习残差网络中，分别获得图像特征信息；其中，所述左视图和右视图是对同一场景从双目视觉设备的左右摄像头拍摄得到的图像；

将获得的图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；其中，所述双通道注意力模块，包括空间注意力模块、像素注意力模块和通道注意力模块；

将从左视图和右视图分别获得的含有细节纹理信息的特征图首先进行卷积操作，然后再级联起来构建匹配代价卷；将得到的匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳跃连接，得到含有细节纹理的3D代价卷；

将含有细节纹理的3D代价卷再进行一次3D反卷积操作得到与原图大小一样的特征图，再进行可微分的柔性Argmin操作得到最终视差图。

2.根据权利要求1所述的基于注意力机制的图像立体匹配方法，其特征在于，获取细节纹理信息所采用的方式是将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征级联起来，获取细节纹理信息。

3.根据权利要求2所述的基于注意力机制的图像立体匹配方法，其特征在于，将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征进行级联的方法为通过通道融合器进行级联操作。

4.根据权利要求1所述的基于注意力机制的图像立体匹配方法，其特征在于，构建匹配代价卷的方法为：将左视图的每一个一元特征和右视图的每一个视差下的特征图级联起来，封装成一个四维代价卷。

5.根据权利要求1所述的基于注意力机制的图像立体匹配方法，其特征在于，可微分的柔性Argmin公式为：

其中C_d表示匹配代价值，d表示视差值，D_max表示最大视差值，σ(·)表示Softmax操作。

6.一种双目设备，其特征在于，包括：

双目视觉摄像机，用于拍摄左右视图；

图像处理器和存储器，所述存储器包含了一系列程序指令，在所述图像处理器执行所述程序指令时，进行如下操作：

将左视图和右视图经过极线约束和中值滤波后分别输入到深度学习残差网络中，分别获得图像特征信息；其中，所述左视图和右视图是对同一场景从双目视觉设备的左右摄像头拍摄得到的图像；

将获得的图像特征信息作为双通道注意力模块的输入，获得含有细节纹理信息的特征图；其中，所述双通道注意力模块，包括空间注意力模块、像素注意力模块和通道注意力模块；

将从左视图和右视图分别获得的含有细节纹理信息的特征图首先进行卷积操作，然后再级联起来构建匹配代价卷；将得到的匹配代价卷进行3D卷积和3D反卷积处理得到多尺度代价体，同时通过跃层连接将多尺度代价体进行跳跃连接，得到含有细节纹理的3D代价卷；

将含有细节纹理的3D代价卷再进行一次3D反卷积操作得到与原图大小一样的特征图，再进行可微分的柔性Argmin操作得到最终视差图。

7.如权利要求6中所述的双目设备，其特征在于，获取细节纹理信息所采用的方式是将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征级联起来，获取细节纹理信息。

8.如权利要求7中所述的双目设备，其特征在于，将空间注意力模块、像素注意力模块和通道注意力模块所得到的特征进行级联的方法为通过通道融合器进行级联操作。

9.如权利要求6中所述的双目设备，其特征在于，构建匹配代价卷的方法为：将左视图的每一个一元特征和右视图的每一个视差下的特征图级联起来，封装成一个四维代价卷。

10.如权利要求6中所述的双目设备，其特征在于，可微分的柔性Argmin公式为：

其中C_d表示匹配代价值，d表示视差值，D_max表示最大视差值，σ(·)表示Softmax操作。