[发明专利]一种双目立体匹配方法

说明书

本发明公开了一种双目立体匹配方法，其步骤包括：1)特征提取网络对待匹配的左、右图像进行特征提取，得到左图像N种分辨率的特征图、右图像对应的N种分辨率的特征图；2)将左、右图像对应的同一分辨率的特征图进行相关操作，形成一个4D的匹配代价卷；然后通过尺度内聚合模块对每个4D的匹配代价卷进行局部代价聚合操作，得到与原匹配代价卷分辨率相同的全新匹配代价卷；3)通过尺度间聚合模块对步骤2)所得N个4D的全新匹配代价卷进行融合，得到最终的匹配代价卷；4)根据最终的匹配代价卷得到对应N种不同分辨率对应的视差图；然后对所得各视差图进行上采样并输入StereoDRNet中，得到最终的预测视差图。

技术领域

本发明涉及计算机视觉领域，具体涉及一种双目立体匹配方法。

背景技术

双目立体视觉是从人类视觉中得到启发，在不接触目标物的情况下，通过模仿人眼采用两个相机从不同角度拍摄图像，并根据视差原理来获取物体的三维信息，重建物体三维轮廓以及位置信息，且具有高效率，较高精度、操作简单，低成本，自动化程度高等优点，广泛的应用在精密测量、目标定位、机器人运动和环境勘测、机械抓取、智能驾驶、三维重建、医疗影像、人机交互等领域。

双目视觉实现的关键技术有：相机标定，立体校正、立体匹配、三维重建，而立体匹配是双目视觉技术核心步骤之一，是计算机视觉领域的研究重点。立体匹配是通过找到空间物体在所获取的左右图像中的对应关系，即寻找双目图像的对应点，从中计算出视差，并根据计算出的视差利用相似三角形原理估计深度的过程。立体匹配是建立立体视觉中最具有重要性的一环，立体匹配所获取视差信息将直接影响所得到的三维信息。

立体匹配是作为双目视觉技术的关键和研究重点和难点。此课题研究已有几十年的历史，在传统上，立体匹配的过程被认定为是一个多阶段最优化求解过程，其中一般分为匹配代价计算，匹配代价聚合，视差计算和视差优化四个步骤(参考Scharstein D,Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms[J].International Journal of Computer Vision,2002,47(1-3):7-42)。

近年来，深度学习已经在图像、语音、自然语言处理等各个领域展现了优异的性能，卷积神经网络(Convolutional Neural Network，简称CNN)能够在有效的将大数据量降维成小数据量的同时保留图片特征利于特征的提取，合理的利用卷积神经网络可以得到精度高、运行效率高的立体匹配算法。且大规模双目仿真数据集也为基于深度学习的立体匹配算法提供了可能性。