[发明专利]双目立体匹配装置及方法

说明书

本发明实施例提供一种双目立体匹配装置及方法，所述装置包括：空间特征提取模块，用于获取双目摄像装置采集并传来的左图像和右图像，并提取出第一空间特征图以及第二空间特征图；语义分割模块，用于提取出第一语义特征图以及第二语义特征图；边界检测模块，用于提取出第一边界特征图以及第二边界特征图；匹配代价构建模块，用于构建出第一匹配代价、第二匹配代价以及第三匹配代价；代价融合模块，用于计算生成与各个阶段对应的融合匹配代价；视差图获取模块，用于逐个阶段计算过渡视差图，并将最后一阶段的过渡视差图进行处理后作为目标视差图计算出目标视差图。本实施例能有效提高在弱纹理区域和纹理重复的区域获得的视差图的准确性。

技术领域

本发明实施例涉及计算机图像处理技术领域，尤其涉及一种双目立体匹配装置及方法。

背景技术

双目立体视觉在获取图像深度信息上有着低成本、灵活和易实现等优点，因此在机器人导航、自动驾驶和增强现实等众多前沿方向中有着广泛应用。双目立体匹配是利用两台相机从不同的视角对同一场景进行拍摄，通过匹配两个视角图像，来恢复出相应的场景深度信息。立体匹配方法通过在左图像的像素(x，y)的右图像中找到对应的像素(x-d，y)，其中d称为视差，再根据已知的焦距f和两个相机中心之间的基线距离，通过公式f＝T/d计算获得相对深度T。匹配点对的一个潜在假设就是同一表面在左右视点成像是相似的，而在实际成像过程中，左右视点图像存在弱纹理区域和纹理重复等区域，造成左右视点成像的歧义性，使得左视点像素在右视点图像中存在多个对应的匹配点。

目前，为了提高在弱纹理区域和纹理重复等区域的匹配精确度，传统的双目立体匹配方法大都采用PSM-Net网络设计的空间金字塔池化模块扩大感受野、SegStereo模型和DispSegNet模型相结合将语义分割和立体匹配共同构建成匹配网络模型以及GC-Net网络使用堆栈3D卷积层学习说明几何形状的4D匹配代价等手段。上述这些网络模型在对相关数据的处理过程中，都会对相关数据进行下采样操作，其中包括最大池化和跨步卷积，但是，上述这种下采样操作会造成导致预测的视差图中缺失空间边界信息，最终导致获得的视差图计算出的视差准确性较差。

发明内容

本发明实施例要解决的技术问题在于，提供一种双目立体匹配装置，能有效提高在弱纹理区域和纹理重复的区域获得的视差图的准确性。

本发明实施例进一步要解决的技术问题在于，提供一种双目立体匹配方法，能有效提高在弱纹理区域和纹理重复的区域获得的视差图的准确性。

为了解决上述技术问题，本发明实施例提供以下技术方案：一种双目立体匹配装置，包括：

空间特征提取模块，与双目摄像装置相连，用于获取所述双目摄像装置采集并传来的左图像和右图像，并基于预存的空间特征图提取模型从所述左图像提取出多个不同分辨率的第一空间特征图以及从所述右图像中提取出多个不同分辨率的第二空间特征图；

语义分割模块，与所述空间特征提取模块相连，用于根据预存的语义特征图提取模型提取出每个所述第一空间特征图对应的第一语义特征图以及每个所述第二空间特征图对应的第二语义特征图；

边界检测模块，与所述空间特征提取模块相连，用于根据预存的边界特征图提取模型提取出每个所述第一空间特征图对应的第一边界特征图以及每个所述第二空间特征图对应的第二边界特征图；

匹配代价构建模块，与所述空间特征提取模块、语义分割模块和边界检测模块相连，用于将所述多个不同分辨率按照从低至高的顺序分成若干个阶段，在每个阶段，采用基于距离的方法分别构建出针对所述第一空间特征图和第二空间特征图的第一匹配代价、针对所述第一语义特征图和第二语义特征图的第二匹配代价以及针对所述第一边界特征图和第二边界特征图的第三匹配代价；

代价融合模块，与所述匹配代价构建模块相连，用于基于注意力引导机制根据每个阶段的所述第一匹配代价、第二匹配代价及第三匹配代价进行计算生成与各个所述阶段对应的融合匹配代价；以及