[发明专利]一种通用双目立体匹配方法

说明书

本发明提供了一种通用双目立体匹配的方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，采用统一的代价聚合函数框架在不同尺度上进行代价匹配，利用各像素窗口的信息熵作为不同尺度下匹配代价对整个匹配代价的影响因子；同时为了保证不同尺度下同一像素的代价一致性,在代价函数里加入正则化因子。一种通用双目立体匹配的方法可以应用在利用多尺度进行代价匹配的算法上，并使原有算法的准确率和鲁棒性得到改善，提高了多尺度立体匹配的准确率和鲁棒性。

技术领域

本发明涉及一种通用双目立体匹配方法，是一种基于双目立体 视觉、通过对图像对立体匹配计算深度的方法，属于计算机视觉领域。

背景技术

立体匹配可以用来求取双目相机、多目相机或者具有交叉视野序 列图像的深度图。旨在寻找多幅图像中相对应的点，广泛应用在机器 人导航、无人驾驶、虚拟现实、三维重建等领域内。立体匹配技术的 研究热点主要集中于三类匹配算法：基于局部、基于全局和基于半全 局的立体匹配算法。Scharstein等将立体匹配算法分为四个步骤：代 价计算、代价聚合、视差计算、视差求精。在代价计算阶段，在可能 的视差范围内根据对应像素的匹配代价生成三维代价体(cost volume)。在代价聚合阶段，对每个像素的窗口区域内根据相应的核 函数进行代价聚合。然后每个像素的视差可以由局部或者全局优化方 法求得。最后对视差图进行求精计算。

大多数代价聚合可以看成是对代价体进行滤波操作。盒滤波和高 斯滤波为最基本的线性滤波器，运行速度较快，但其会模糊视差图像 使精度下降。Yoon等引入具有边缘感知的双边滤波器应用在代价聚 合步骤上，往往需要较大的滤波窗口才能生成比较准确的视差图，其 计算复杂度较大。Rhemann等把引导滤波器应用在代价聚合上，其计 算复杂度与窗口大小无关。Yang等提出一种半局部代价聚合方法， 其将整副图像作为核函数窗口。利用最小生成树加速代价匹配。Mei 等先对图像进行分割，后采用半局部方法对每个分割块求取子树，然 后根据贪心算法，将各个分割对应的子树进行合并。这些算法极大提 高了立体匹配的精度，但同时其未利用像人眼视觉系统采取由粗到精 的策略融合多尺度图像信息来处理匹配问题，不能充分利用图像内容 信息。因此Zhang等提出跨尺度代价聚合方法，并设计了统一的代价 聚合模型。可融合现有的多种立体匹配算法，同时又考虑跨尺度的交 互，引入正则化项，目前被多数多尺度匹配算法采用。

综上所述，目前聚合算法大多在多尺度下进行代价聚合，其根据 人眼视觉模型融合不同尺度的匹配代价，从而减小误匹配率。但其一 视同仁简单将各个尺度图像匹配代价相加，未考虑由于高斯滤波和下 采样造成的信息丢失，使得单一尺度下匹配正确的点在多尺度融合中 出现错误匹配。

发明内容

本发明实施例提供了一种通用双目立体匹配方法，是一种自适应 权值的跨尺度立体匹配算法框架。采用统一的代价聚合函数框架在不 同尺度上进行代价匹配，利用各像素窗口的信息熵作为不同尺度下匹 配代价对整个匹配代价的影响因子；同时为了保证不同尺度下同一像 素的代价一致性，在代价函数里加入正则化因子。一种通用双目立体 匹配的方法可以应用在利用多尺度进行代价匹配的算法上，并使原有 算法的准确率和鲁棒性得到改善，提高了多尺度立体匹配的准确率和 鲁棒性。

为解决上述技术问题，本发明提出的技术方案是：一种通用双目 立体匹配方法，包括双目标定、双目图像矫正、双目立体匹配、匹配 代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：

01)双目标定：对双目相机进行标定，得到所述双目相机的相关 参数；

02)双目图像矫正，对双目相机在成像过程中存在的径向失真和 切向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行 对准进行立体矫正的双目图像矫正；

03)双目立体匹配：利用双目标定得到的双目相机相关参数以及 图像对，通过代价匹配生成初始视差空间，再通过代价聚合处理所述 初始视差信息形成二次视差空间以及图像中各点的三维信息；