[发明专利]一种结合TOF技术和双目视觉的深度信息获取装置及其方法

摘要

本发明公开了一种结合TOF技术和双目视觉的深度信息获取装置及其方法，该装置包括一个主动光源发射装置、一个TOF传感器、左右图像传感器、控制器以及处理器；主动光源发射装置包括依次布置的光源、空间调制器件以及成像系统；主动光源发射装置和TOF传感器均与控制器相连，TOF传感器、左图像传感器和右图像传感器均与处理器相连。主动光源发射装置生成时间、空间调制的光照明场景，TOF传感器采集时间调制信号获得场景深度信息，左右图像传感器采集空间调制信号获得场景图像信息。以深度信息增加约束条件对场景图像进行特征匹配，得到高分辨率深度图像。本发明以较低成本实现室内外环境下高分辨率快速深度信息获取，适用于近距离及较远距离。

主权项

1.一种结合TOF技术和双目视觉的深度信息获取方法，其特征在于，该方法在结合TOF技术和双目视觉的深度信息获取装置中实现，所述结合TOF技术和双目视觉的深度信息获取装置包括一个主动光源发射装置、一个TOF传感器、左图像传感器、右图像传感器、控制器以及处理器；所述主动光源发射装置包括依次布置的光源、空间调制器件以及成像系统，所述主动光源发射装置的时间调制为正弦波或快速方波序列；主动光源发射装置和TOF传感器均与控制器相连，TOF传感器、左图像传感器和右图像传感器均与处理器相连；所述左图像传感器和右图像传感器采集到的图像为灰度图像，其光谱特性主要响应主动光源的窄波段，也能响应部分可见光波段；该方法包括：（1）控制器控制光源发射时间调制的光信号，经过空间调制器件调制后由成像系统形成图案并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；左图像传感器和右图像传感器采集环境光及主动光源发射装置照明下的场景，得到两个视角下的左、右图像；（2）对TOF传感器、左图像传感器和右图像传感器进行标定，得到三个传感器在世界坐标系的对应关系；（3）根据标定参数，将深度信息映射到两路图像坐标中，以深度信息增加约束条件对两路图像进行立体匹配，包括以下步骤：（3.1）深度图像中，深度大于D的区域，在左右图像中寻找1‑2个对应特征点，计算深度信息作为背景深度；其中，深度大于D的区域分成多个等级，距离在D1‑D2之间的区域计算一次深度，距离在D2‑D3的区域计算一次深度，依次类推；（3.2）深度图像中，对步骤（3.1）之外的区域，计算其梯度，梯度值大于G的区域，在左右图像中进行高精度立体匹配，计算准确的深度信息；（3.3）深度图像中，对步骤（3.1）和步骤（3.2）之外的区域，计算其二阶梯度，二阶梯度小于G2的区域，在左右图像中仅对边界进行立体匹配，计算深度信息，其他部分进行线性插值；（3.4）深度图像中，对步骤（3.1）、（3.2）、（3.3）之外的区域，在左右图像中进行低精度立体匹配，计算深度信息；（3.5）对左右图像进行高通滤波，提取图像中高频成分，识别小尺寸目标，计算深度信息；（4）对两路图像中由于视角不同所产生的盲区部分以背景深度进行填充；（5）对两路图像交叉范围之外的无视差区域，以TOF深度信息进行填充，得到场景的深度图像。