[发明专利]一种基于三维卷积神经网络的渐进式实时立体匹配方法

说明书

一种基于三维卷积神经网络的渐进式实时立体匹配方法，包括特征提取(FEM)、视差初始化(DIM)以及视差细化(DIM)，其中，FEM为DIM和DRM提供稳健的多尺度特征，在低分辨率层级中DIM使用三维卷积神经网络对视差进行初始化处理，DRM在多个尺度上使用多分支融合(MBF)模块来渐进地恢复视差图细节，本算法采用轻量的骨干神经网络提取特征，在保证算法实时性的同时，为其他模块提供多尺度特征；并且在视差图渐进细化过程中，通过对比左右特征来恢复视差图的结构细节和修正视差值偏差；对不同特点区域进性自动聚类，并分别处理再融合输出结果，使模型具有自适应处理能力。

技术领域

本发明涉及三维物体识别领域，特别是一种基于三维卷积神经网络的渐进式实时立体匹配方法。

背景技术

三维物体识别技术能提取目标物体的三维特征信息，进而对场景中一个或多个目标进行识别或分类，相较于传统二维图像识别更能准确全面地丰富物体的三维信息，从而进行更高维的特征提取以便处理更复杂的任务，三维物体识别技术成为近年来计算机视觉领域的研究热点之一，被广泛应用于智能机器人、维修检测、无人驾驶、军事侦察等领域。

双目立体视觉技术模拟人眼获取相同点产生的视差从而进行目标三维重建，获取三维图像。与结构光传感器、TOF(time-of-flight)相机等获取深度图像方式相比，双目立体视觉技术对硬件、成本要求更低，所获取的深度图像更加密集、精确；与单目视觉深度估计相比，双目立体视觉技术计算复杂度更小，系统实时性更高。双目立体视觉技术更加适用于实际生产生活中的三维物体信息采集，有着巨大的发展空间和良好的应用前景。

请参阅附图2所示，双目立体视觉系统主要分为双目图像获取、双目相机系统标定、立体校正、立体匹配和三维重建五大环节，该系统实现的最终结果是对三维空间的物体进行立体重建，立体匹配的目的是从左、右两张图像中寻找同名点，进而根据其视差计算出该点的深度信息。因此，立体匹配算法通常分为四个过程实现：匹配代价计算、匹配代价聚合、视差计算和视差优化。这里，匹配代价是利用相似性函数计算左右图中像素点的代价；代价聚合是指通过邻接像素间的联系，用一定的方法，对代价矩阵进性优化，以处理图像在弱、无纹理区域中的代价值无法准确配对的问题，从而降低异常点的影响，提高信噪比；视差计算/优化是指在视差搜索范围内选择代价值最小的点作为对应匹配点，并确定该点视差；视差校正是指对匹配好的视差图进行后期处理，以解决遮挡点视差不准确、噪声点、误匹配点等问题。根据是否采用匹配代价和代价聚合，可以将传统的立体匹配算法分为全局、半全局和局部立体匹配算法。全局立体匹配算法通常跳过匹配代价和代价聚合步骤，直接进性视差计算和优化，该算法虽然精度高，但计算效率低、实时性差；半全局立体匹配算法是使用互信息作为匹配代价，使用能量函数进行代价聚合，并使用动态规划来最小化能量函数以寻找最佳视差，进而提升计算精度，加快计算速度，但受动态规划算法的影响，该算法会出现扫描线效应；局部立体匹配算法一般利用匹配点的局部信息计算匹配代价，采用代价聚合方法来改善匹配代价，然后利用WTA算法得到视差图，该算法虽然计算效率高、实时性好，但精度较低。

近年来，随着深度学习的兴起和FPGA或GPU硬件加速平台的普及，以深度学习为代表的机器学习被用于解决立体匹配问题，并且取得了非常好的效果。这里的机器学习主要是将卷积神经网络(CNN)应用在立体匹配中。基于CNN解决立体匹配的方法大致分为三类：

1)利用CNN学习匹配代价，然后再利用传统方法进行视差后处理；

2)从端到端训练CNN，直接从图像对估计视差；

3)利用多个网络得到视差图。

基于CNN网络的方法取得了非常好的效果，但也有局限性：

1)遮挡区域的像素点不能用来训练，这意味着很难在这些区域获得可靠的视差估计；

2)训练神经网络需要大量的数据，在某些特定场合，无法得到训练网络所需要的数据。