[发明专利]基于深度相机与双目视觉复合的三维成像系统及成像方法

权利要求书

1.一种基于深度相机与双目视觉复合的三维成像系统，其特征在于，它包括：一台双模相机、一台普通相机、数据处理器(6)和显示终端等；双模相机、普通相机和显示终端均与数据处理器(6)相连；所述双模相机包括多个窄脉冲激光光源(1)、光带通滤波器(2)、图像传感器(3)、电子快门(4)和成像物镜(5)；其中，窄脉冲激光光源(1)和图像传感器(3)均与数据处理器(6)相连；成像物镜(5)、光带通滤波器(2)、图像传感器(3)依次排列于同一光路上，窄脉冲激光光源(1)固定在成像物镜(5)上；电子快门(4)与图像传感器(3)相连。

2.一种权利要求1所述系统的三维成像方法，其特征在于，包括以下步骤：

(1)双模相机采用深度相机工作模式采集TOF深度图像，具体为：窄脉冲激光光源(1)向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜(5)、光带通滤波器(2)，被图像传感器(3)感光；数据处理器(6)通过电子快门(4)控制图像传感器(3)在曝光时间内成像，并对图像进行处理，获得TOF深度图像；

(2)双模相机和普通相机同时采集普通视图图像：双模相机采用普通相机工作模式采集普通视图图像：脉冲激光光源(1)不工作，使用环境光进行照明，图像传感器(3)获得场景的普通灰度视图，数据处理器(6)对普通灰度视图进行处理，获得普通视图图像；同时，普通相机采集普通视图图像。

(3)针对步骤2中双模相机和普通相机获得的普通视图图像，数据处理器(6)在TOF深度图像的视差搜索范围内约束引导完成双目立体匹配，获得双目视差图；双目匹配过程中，利用双模相机采用深度相机工作模式获得的TOF深度图像作为约束条件，利用Census变换方法计算此约束条件下两个普通视图图像之间的灰度的联合概率分布，并以灰度的联合概率的对数作为相似性测度函数，两个普通视图图像中，相似性最高的像素点为匹配点。

所述约束条件可以为：双目匹配过程以任意一副普通视图图像为参考视图，像素点P(i,j)对应于深度相机获得的TOF深度图像的TOF距离为z，则该点视差搜索范围的两个边界值可表示为：

d1=BFz+δ]]>

d2=BFz-δ]]>

其中，B为双模相机和普通相机物镜的中心轴之间的距离，F为双模相机和普通相机的等效焦距，δ为双模相机在深度相机模式下的测距精度。

(4)针对双目视差图中的无效区域，用TOF深度图像中的对应部分进行对填充，生成场景三维图像；所述无效区域为：双目视差图中与无视差区域相对应的区域，无视差区域为两个普通视图图像中，无视差的区域。