[发明专利]一种多目立体相机的校准及深度图像处理方法

说明书

本发明提供一种多目立体相机的校准及深度图像处理方法，包括：在多目相机设备中选取基准相机和待修正相机，并获取相应的基准相机图像和对待修正相机图像；根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化；得到最终的深度图像。本发明的方法利用匹配特征的深度计算结果实现对相机参量的优化，使多个深度图像的交界部分过渡平滑，可以根据优化的参量对未重合部分的深度图像进行进一步的精化调整，并且通过不同双目间的相互约束，保证最终深度结果一致性与稳定性。

技术领域

本发明涉及一种多目立体相机的数据处理技术，具体涉及一种多目立体相机的校准及深度图像处理方法。

背景技术

现有的多目设备的特点是，所有相机的成像元件处于同一个平面且朝向相同。构成一组双目相机的两个相机所采用的成像器件及镜头焦距相同，两相机呈水平或垂直排列。在这类多目相机中，基线长更长或者焦距更远的双目相机在远距离目标距离检测精度方面会体现更高的测量效果。具体的原理如图1 所示。图1给出了不同基线长的双目相机测量范围的示意图，其中图1示出了基线长较短的双目相机，且图1示出了基线长较长的双目相机。中间梯形区域为测量范围的示意效果(理论上可以测量无限远的范围，但由于远距离部分精度极度下降一般不采用该计算结果)，在该梯形中距离相机越近的部分精度也越高。长焦距的效果与长基线效果类似。由此，通过不同基线或者焦距的双目组合而成的多目立体相机可以测量前后更广的范围。

基于上述原理，现有技术中的多目立体相机的一种常见设计如图2所示，由四个相机构成的四目相机，图中相机110和相机120设备构成一组双目相机，相机130和相机140设备构成另一组双目相机，特点是构成双目相机的两个设备的成像元件及镜头需要一致，但不同双目相机的相机间隔(基线长)和视野范围(镜头焦距)可以不同，图中相机110和相机120构成的双目的基线长为 B1，镜头焦距为F1，而相机130和相机140构成的双目的基线长为B2，镜头焦距为F2。上述设计的目的在于能够覆盖更广范围内双目相机的三维测算精度，不同基线或者焦距的双目组合而成的多目立体相机可以测量前后更广的范围，即相机110与相机120构成的双目相机用于测量近距离物体深度，相机130 和相机140构成的双目相机测量中远距离的物体深度，最终两者结果合成输出覆盖近、中、远范围且测量精度较好的深度数据结果。

如图3所示，现有技术中的多目立体相机的另外一种常见设计为三目结构，例如Bumblebee三目视觉相机产品，左相机210和中间相机220构成一组双目，左相机210与右相机230构成另一组双目，由此构成两组双目相机。左相机为两组相机共用的设备，一般情况三个相机采用相同的成像器件以及焦距，两组双目相机的基线长B1、B2不同，焦距F相同。

如图4A-图4C所示，目前，在对多组双目相机的深度结果进行融合时，容易出现以下问题。图4A为采用不同基线长的多组双目相机对目标物体Obj 进行测量，其中中间两个相机构成短基线双目，外侧两个相机构成长基线双目，两者的测量结果示意图如图4B所示，图中虚线为实际物体的深度结果，由于标定误差等因素的存在，两组测量的结果均与真实结果有所差异，且通过对测量精度相关参数的限制，两者均未能检测出全部Obj范围内的深度结果，短基线双目缺失了远距离部分的测量结果(精度阈值限制)，长基线双目缺失了近距离部分测量结果(视差范围限制)，简单将两者叠加融合的结果如图4C所示，在范围重合的中距离区域，不同双目测量的结果不同将导致数据歧义。