[发明专利]基于深度相机与双目视觉复合的三维成像系统及成像方法

说明书

技术领域

本发明涉及一种三维成像系统，尤其涉及一种基于深度相机与双目视觉复合的三维成像系统及成像方法。

背景介绍

三维成像技术因其可以探测场景内物体的形状以及相对位置等信息，现已越来越广泛应用于社会各领域，如航空航天、测绘、机器人导航、影视制作等。当前，主动式深度相机和被动式双目立体视觉技术是获取场景三维图像的两种主要技术手段。本文在实验室项目组以往研究成果的基础上，对深度相机与双目立体视觉复合三维成像技术进行研究，以期结合两种技术的各自优势实现近距离处快速、高精度场景三维探测。目前实现三维成像的方法主要有飞行世间法和双目视觉法。

飞行时间法是利用脉冲光源，通过测量光信号在物体之间的传播时间获得其相对距离，这种方法可以达到比较高的测量精度和成像分辨率。

双目视觉法，即是三角测距法，这种方法测量系统的两个摄像机从不同的角度对同一场景进行拍摄，获取该场景的两张含有视差信息的数字图像。通过立体匹配确定场景中同一点在两幅图像中的坐标位置，根据两摄像机的相对位置，利用三角关系即可计算该点的空间三维坐标。

上述方法中，第一种方法成本低，成像速度快，分辨率较高，但其探测距离和精度受到有较大的局限。第二种方法虽然在近距离成像精度高，但是只限于近距离，而且三维图像恢复算法复杂，计算量大，不容易实现高速成像。

将深度相机与双目立体视觉技术进行融合，利用两种技术的各自优势实现快速、高精度的三维测量是当前检测领域的研究热点之一。深度相机和双目立体视觉的融合，根据方法的不同可以分为两种类型，后融合和先融合。后融合是指分别利用深度相机和双目立体视觉技术获取同一场景的三维数据，然后对场景中的不同区域根据两种技术的优缺点进行数据级的融合，以使系统最终输出的三维数据更加准确。先融合是指将深度相机的数据作为先验知识融入双目立体视觉的匹配算法中，对立体匹配进行先验约束，以简化立体匹配过程。

发明内容

本发明的目的在于针对现有技术的局限和不足，结合深度相机和双目视觉相机，提供一种基于深度相机与双目视觉复合的三维成像系统及成像方法，以实现高分辨、高精度、高速成像。

本发明的目的是通过以下技术方案实现的：一种基于深度相机与双目视觉复合的三维成像系统，它包括：一台双模相机、一台普通相机、数据处理器和显示终端；双模相机、普通相机和显示终端均与数据处理器相连；所述双模相机包括多个窄脉冲激光光源、光带通滤波器、图像传感器、电子快门和成像物镜；其中，窄脉冲激光光源和图像传感器均与数据处理器相连；成像物镜、光带通滤波器、图像传感器依次排列于同一光路上，窄脉冲激光光源固定在成像物镜上；电子快门与图像传感器相连。

一种三维成像方法，包括以下步骤：

(1)双模相机采用深度相机工作模式采集TOF深度图像，具体为：窄脉冲激光光源向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜、光带通滤波器，被图像传感器感光；数据处理器通过电子快门控制图像传感器在曝光时间内成像，并对图像进行处理，获得TOF深度图像；

(2)双模相机和普通相机同时采集普通视图图像：双模相机采用普通相机工作模式采集普通视图图像：脉冲激光光源不工作，使用环境光进行照明，图像传感器获得场景的普通灰度视图，数据处理器对普通灰度视图进行处理，获得普通视图图像；同时，普通相机采集普通视图图像。

(3)针对步骤2中双模相机和普通相机获得的普通视图图像，数据处理器在TOF深度图像的视差搜索范围内约束引导完成双目立体匹配，获得双目视差图；双目匹配过程中，利用双模相机采用深度相机工作模式获得的TOF深度图像作为约束条件，利用Census变换方法计算此约束条件下两个普通视图图像之间的灰度的联合概率分布，并以灰度的联合概率的对数作为相似性测度函数，两个普通视图图像中，相似性最高的像素点为匹配点。

所述约束条件为：双目匹配过程以任意一副普通视图图像为参考视图，像素点P(i,j)对应于深度相机获得的TOF深度图像的TOF距离为z，则该点视差搜索范围的两个边界值可表示为：

d1=BFz+δ]]>