[发明专利]一种使用时域视觉传感器的双目立体深度匹配方法

说明书

本发明公开了一种使用时域视觉传感器的双目立体深度匹配方法，并给出具体实现步骤。与目前广泛使用的基于“帧图像”的双目立体深度匹配方法不同，本发明使用一种新型成像器件‑‑时域视觉传感器进行视觉信息采集，以其输出事件序列作为算法输入来进行空间运动目标的立体深度匹配与计算。由于这种成像器件只对拍摄场景中的光强变化进行采样与输出，因此具有很高的时间分辨率以及极低的信息冗余。与现有的方法相比，本发明提出的立体深度匹配方法可以显著地降低计算量，提高算法的实时性与连续性。

技术领域

本发明涉及计算机视觉、数字图像处理以及图像传感器设计等多个技术领域，具体涉及一种使用时域视觉传感器的双目立体深度匹配方法。

背景技术

一、双目立体深度匹配方法

双目立体视觉系统模拟生物双眼的视差功能，使用两台性能相同、相对位置固定的摄像机，同时从不同的角度获取同一场景的两幅图像，然后计算原空间中任意一点在这两幅图像中的(位置)视差，进而通过三角测距原理计算出该点的三维坐标信息。双目立体视觉是机器视觉的重要分支之一，已应用于工业检测、追踪定位、三维重建、机器人导航避障、图像分割等很多领域。

双目立体视觉通过以下几个步骤获取空间点的立体深度：摄像机标定、图像获取、图像校正、立体深度匹配、计算深度和表面差。其中核心的立体深度匹配是使用图像匹配算法获取空间一点在左右图像中的匹配点对，根据左右匹配点对的视差信息获得视差图，为进一步计算深度及其它处理奠定基础。

附图1给出双目视觉立体深度计算的基本原理。经过严格配准与标定的两台相同像机平行固定，则空间一点P在两台相机中的成像原理如左图所示。图中O_R和O_T为两个成像面的焦点，他们之间的连线称为基线，长度为b；成像焦距为f。空间一点P距基线为Z，其在左右成像面的成像点分别为p和p’(双目立体视觉系统中的左右相机经过配准及校正后，两个匹配点p和p’应当具有相同的行坐标和不同的列坐标)。设p点的横坐标为X_R，p’的横坐标为X_T。由相似三角形定理可得：

上式变形可得：

上式中d=X_R-X_T为p和p’的横坐标之差(左右两个成像面的相同行)。由此只要获得了坐标差d，就可以获得空间点到基线的距离Z，然后根据坐标平面的变换可以确定空间点的深度距离。上述寻找空间点P在两个成像面中的两个投影点p和p’的过程称为立体(深度)匹配。

在匹配过程中均以一幅图像为参考图像，另外一幅为目标图像。如果左视图中一点(x,y)，在右视图中对应的匹配点为(x’, y’)，这两个匹配点的坐标差值为d(x,y)。则对于已经校正过的左、右视图，这两个匹配点只在横向扫描线

上存在差异。因此有：

对于参考图像中的每一像素点(x,y)，均能求出视差d，进而形成与像素坐标一致的视差图。附图1右图为最常见的左右相机平行匹配方法。

已经提出的基于“帧图像”的立体匹配算法有很多种，大体分为基于区域的匹配与基于特征的匹配。基于区域的匹配通过度量左右图像中两个小区域的某种相似度来判断其是否匹配。而基于特征的匹配则是首先提取参考图像中的某种特征，例如边缘、角点等，然后在目标图像中寻找对应的特征并计算其位置差。在实际双目相机产品中基于区域的匹配方法得到了广泛使用。通常匹配算法由四个步骤组成：匹配代价函数计算、代价叠加、视差计算和一致性检查优化。代价函数表示图像像素（局部）的相似性测度，一般以能量最小化策略构成，即同一空间点在左右两幅图像中的对应成像点（或周围小区域）之间具有最小的亮度差。常用的代价函数有：SAD(绝对差值之和)、SSD（差平方和）、归一化SSD、归一化相关等。以上这些代价函数的基本形式在实际应用中可进行各种变形。