[发明专利]基于Transformer的热红外图像立体匹配方法及装置

说明书

本发明公开一种基于Transformer的热红外图像立体匹配方法及装置，属于计算机视觉技术领域，方法包括获取热红外图像校正后的左视图和右视图；采用UNet特征提取网络对左右视图进行特征提取，得到多尺度特征图；基于Transformer特征转换模块对多尺度特征图进行处理，得到左右视图的转换特征图；基于左右视图的转换特征图，生成视差图。本发明在基于深度学习的立体匹配算法基础上，针对热红外图像纹理稀疏甚至大面积无纹理的特点，采用Transformer特征转换模块进行特征转换，解决热红外图像立体匹配的难点，从而达到良好的热红外立体匹配效果。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于Transformer的热红外图像立体匹配方法及装置。

背景技术

立体匹配作为计算机视觉领域中的一个热点问题，技术主要用于三维建模与感知，机器人导航，自动驾驶，智能交通等方面。

目前，基于深度学习的立体匹配的方法主要是训练卷积神经网络(ConvolutionalNeural Networks，CNN)，利用像素点的相似度加权和估计出左右视图对应像素点的视差值。首先在给出校正后的左右视图的条件下对左右视图分别提取特征，然后用左右视图的特征图构造四维代价体，得到的代价体经过三维卷积进行代价聚合得出聚合代价体，最后聚合代价体通过视差回归生成视差图。

基于深度学习的立体匹配是基于可见光图像。可见光图像在对光线敏感，在复杂场景和环境下图像所能传递的信息质量会受到较大的影响，如：雾霾和低光照等。而热红外图像反映了场景中的表面温度分布，因此对光照不敏感，具有很好的云雾穿透、以及特殊的识别伪装的能力。因此，针对热红外图像的立体匹配算法研究是十分有意义的。

由于热红外图像相对于可见光图像来说具有纹理稀疏，甚至大面积无纹理等特点，传统的研究可见光图像的立体匹配算法在热红外匹配中并不适用。目前的基于可见光的立体匹配算法基本由特征提取、构造代价体、代价聚合、视差回归四个部分组成。在针对热红外图像立体匹配中如何提取左右视图的特征的问题上，传统的可见光立体匹配算法中的特征提取部分通常使用卷积操作提取不同分辨率大小的特征后采用不同的方式融合，例如：UNet、FPN等特征提取器。但这些方法提取的特征仅具有有限的感受野无法建模长程关系和空间依赖，而且提取的特征包含的位置信息和语义信息较少，无法区别无纹理区域，由此导致热红外图像立体匹配效果不佳的技术问题。其中特征提取是提取图像特征信息的关键，但针对热红外图片少纹理的特点，传统的特征提取网络并不能提取足够的特征，且传统的特征提取方法得到的特征感受野有限。

相关技术中，申请号为202110635322.3的发明专利申请公开的一种面向多模态图像能见度检测的神经网络构建方法，通过注意力模型调节的多尺度可变形卷积神经网络可有效提取不同感受野下、不同浓度雾气的大气特征；而双模态图像特征的融合可以实现模态互补，提供更加丰富而有效的大气特征信息,显著提高小样本条件下能见度检测的准确性与鲁棒性。但其采用的是传统的立体匹配方法，直接利用左右视图计算获取视差图，不需要训练模型，但视差图误差较大。

申请号为201910647474.8的发明专利申请公开的一种多相机立体匹配方法和装置，根据图像特征训练特征提取器，根据训练好的图像特征提取器进行场景深度信息的获取，克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度的问题。但其本质是结构光立体匹配，基于深度学习的立体匹配以及传统的立体匹配使用的是物体本身的特征点，而结构光使用的是光源主动提供的特征点或者直接的码字，由于拍摄物体多种多样，每一次双目立体匹配都面对不同的图像，都需要重新提取特征点；而结构光投影的是相同的图案，特征点是固定的，不需要根据场景的变化而有变化。但室外环境基本不能使用，这是因为在室外容易受到强自然光影响，导致投射的编码光被淹没。