[发明专利]基于主动式双目立体视觉的测量方法及RGBD相机系统

说明书

技术领域

本发明涉及传感器技术领域，具体涉及一种基于主动式双目立体视觉的测量方法及RGBD相机系统。

背景技术

目前，3D传感器主要包含被动3D测量和主动3D测量两种。

被动式三维感知技术主要为被动式双目立体视觉成像技术，该方案需要一对相机同时采集场景图像，通过复杂的匹配算法对比左右图像，恢复出视差信息，基于视差信息和三角测量原理，最终得到3D信息。

但是，现有的被动式双目系统主要存在几个方面的问题：

第一，运算平台的复杂性：

目前的双目立体视觉系统的常见方案分为两种：其一为双目相机+高性能PC方式；其二为双目相机+高性能GPU方式；主要原因在于双目立体视觉涉及到的匹配算法的复杂度很高，因此需要性能强大的运算单元，成本高，难以小型化，运算单元的动态负载使得实时性有限，很难保证一致的实时性。

第二，环境的适应性：

目前的双目系统双目立体匹配部分对于成像场景的要求比较高，由于低光和弱纹理区域不具有丰富的纹理信息，因此该类系统没有较好的表现。

而主动式三维感知技术还有基于结构光的三维感知技术、飞行时间法(Time of Flight，ToF)三维感知技术。其中，结构光三维感知技术又细分为基于空间编码结构光的三维感知技术和基于时间编码结构光的三维感知技术。空间编码结构光技术通过光学系统向场景发射出具有编码信息的图案，通过图像传感器采集图像并对图像进行解码，解码信息将采集图像和发射信息进行精确匹配从而计算出空间三维结构。时间编码结构光技术通过光学系统连续发射一系列的具有周期性的条纹图案，通过图像传感器采集序列图像，对序列条纹图像求解相位信息，根据唯一性相位信息解算出空间三维结构。飞行时间法通过硬件控制使发光元器件发射出脉冲式或者光强周期性变化的光束，光电转换设备，如图像传感器，采集脉冲式光强信号或者周期性光强信号，通过计算脉冲信号的发射和反射信号的时间差，或者周期性光学信号的相位差来计算空间物体与发射器间的距离，从而构建空间三维结构。

但是，对于空间编码结构光系统方案，其工作范围有限：空间编码结构光系统利用光学投射系统向场景中投射具有编码信息的纹理图案，相机采集到图像后，对图像进行唯一性解码，从而得到高精度的三维模型。但是，该系统对于工作距离具有较高的要求，在特定环境对系统进行标定后，该系统只能在一定的空间距离内工作，对于超出有效工作距离的部分，由于不能够有效解码，所以无法测得有效的距离。

对于时间编码结构光方案，存在如下问题：

第一，实时性难以达到：时间编码结构光方案需要投射多张不同编码图案到场景中，并同时解算多帧图案才能够得到一帧深度信息。因此该方案难以达到较高的帧率与实时性。

第二，有效工作距离较短：时间编码结构光只能重构较小的三维空间，因为空间越大，物体离发射器越远，编码信息容易畸变，无法准确解码出有效信息，最终无法准确测量。

对于ToF系统方案，其环境适应性差：该方案是完全依赖于投射的编码光的飞行时间来求解深度信息，如果环境中和编码光处在同一波段的光较强，会直接影响到测量的最终精度，因此环境的适应性较差。

另外，在相机所采集的彩色图像中，每个彩色像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)三种颜色属性，不包括三维空间的深度信息(Depth，D)，无法将彩色信息和深度信息一一对应，不能实现彩色信息与深度信息匹配输出。

在弱纹理、暗光环境下，如何实时进行中高精度的三维环境深度感知，实现RGBD相机系统，提高系统实时性，降低时延，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于主动式双目立体视觉的测量方法及RGBD相机系统，能够在弱纹理、暗光环境下，实时进行中高精度的三维环境深度感知，实现RGBD相机系统，提高系统实时性，降低时延。

第一方面，本发明提供一种基于主动式双目立体视觉的测量方法，该方法包括：

同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像；

对红外图像和彩色图像进行矫正；

将矫正后的红外图像进行立体匹配，生成视差图；

将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

进一步地，对目标场景中的红外光和可见光进行成像之前，该方法还包括：向目标场景中照射处于红外波段的纹理图案。