[发明专利]基于相机运动和图像明暗的Kinect深度重建方法

说明书

本发明公开了一种基于相机运动和图像明暗的Kinect深度重建方法，包括步骤：1)在Kinect深度摄像头和RGB摄像头标定对齐的情况下，通过第三方接口将Kinect采集的数据上传到电脑；2)从RGB视频序列中恢复三维场景结构和kinect RGB相机的运动轨迹，得到点云和相机运动关系；3)结合步骤2)中获得的点云和相机运动关系，利用图像的明暗情况信息对图像深度进行重建。本方法不需要对深度摄像头进行物理上的改进，也不需要设计复杂的装置组合，以及不需要传统深度重建方法中经常使用的一般只能局限在实验室条件下而不具备现实应用价值的复杂而条件苛刻的光照标定步骤，相比传统的方法而言，具有更大的现实应用价值和意义。

技术领域

本发明涉及计算机图像处理中的深度重建领域，尤其是指一种基于相机运动和图像明暗的Kinect深度重建方法。

背景技术

随着近些年一些价格相对低廉的民用深度摄像头，例如Microsoft Kinect和AsusXtion Pro等的面世和推广，深度信息被广泛用于体感游戏、实时三维重建、增强现实、虚拟现实等各个领域，对深度信息的应用已经成为了新型人机交互方式的发展的重要依托。然而，目前市面上较为流行的民用深度摄像头大多存在深度探测精度不够以及干扰噪声太大的问题，严重地影响了基于深度信息的应用产品的质量。因此，如何获取更为精确的深度信息，对于基于深度信息开发的应用而言具有非常重要的意义。

正因为上述的需求，深度重建算法越来越受到学术界和产业界的关注。目前有一种新颖的办法是结合计算机图形学中三维重建方面的思路辅助深度图进行重建，而本专利也是沿用了这个思路。而目前三维重建方面主要方法有从运动信息中恢复三维场景结构、从图像的明暗情况重构物体形状、光度立体法等。而本专利主要是利用从运动信息中恢复三维场景结构以及从图像的明暗情况重构物体形状两种方法。

从运动信息中恢复三维场景结构的方法主要利用摄像机的运动过程而动态生成和修正三维点云，它的典型代表是基于单目摄像头的SLAM系统。而从图像的明暗情况重构物体形状的方法则是利用图像的明暗情况，建立有效的光照模型并使用优化的方法对其进行求解，进而可以获取目标的表面形状信息。

对上述两种方法的思想加以利用和改进，以及利用深度图与点云二者之间紧密的关系，就可以有效的对深度图进行优化和重建，得到更精确的深度结果。

发明内容

本发明的目的在于克服现有的民用深度摄像头的深度探测精度不够的不足，提供一种基于相机运动和图像明暗的Kinect深度重建方法，该方法不需要对深度摄像头进行物理上的改进，也不需要设计复杂的装置组合，以及不需要传统深度重建方法中经常使用的一般只能局限在实验室条件下而不具备现实应用价值的复杂而条件苛刻的光照标定步骤，相比传统的方法而言，具有更大的现实应用价值和意义。

为实现上述目的，本发明所提供的技术方案为：基于相机运动和图像明暗的Kinect深度重建方法，包括以下步骤：

1)在Kinect深度摄像头和RGB摄像头标定对齐的情况下，通过第三方接口将Kinect采集的数据上传到电脑；

2)从RGB视频序列中恢复三维场景结构和kinect RGB相机的运动轨迹，得到点云和相机运动关系；

3)结合步骤2)中获得的点云和相机运动关系，利用图像的明暗情况信息对图像深度进行重建。

所述步骤2)包括以下步骤：

2.1)在系统初始化的时候读入一张RGB图片并作为关键帧，给关键帧绑定一个深度图，深度图和灰度图有相同的维度，遍历深度图，给每个像素位置赋一个随机值；

2.2)每读取一张RGB图片，都构造如下的代价函数：

其中||·||_δ是哈勃算子，r_p代表误差，代表误差的方差；