[发明专利]基于相机运动和图像明暗的Kinect深度重建方法

权利要求书

1.基于相机运动和图像明暗的Kinect深度重建方法，其特征在于，包括以下步骤：

1)在Kinect深度摄像头和RGB摄像头标定对齐的情况下，通过第三方接口将Kinect采集的数据上传到电脑；

2)从RGB视频序列中恢复三维场景结构和kinect RGB相机的运动轨迹，得到点云和相机运动关系；包括以下步骤：

2.1)在系统初始化的时候读入一张RGB图片并作为关键帧，给关键帧绑定一个深度图，深度图和灰度图有相同的维度，遍历深度图，给每个像素位置赋一个随机值；

2.2)每读取一张RGB图片，都构造如下的代价函数：

其中||·||_δ是哈勃算子，r_p代表误差，代表误差的方差；

哈勃算子的定义如下：

δ是哈勃算子的参数；

误差函数的定义r_p如下：

r_p(p,ζ_ji)＝I_i(p)-I_j(w(p,D_i(p),ζ_ji))

I_i(p)表示当前帧中像素p的位置的灰度值，ζ_ji表示将i坐标下的三维点旋转平移到j坐标下的刚体变换的李代数，D_i(p)表示参考帧的深度图中像素p对应的位置的深度值，w(p,D_i(p),ζ_ji)表示参考帧i中像素p位置对应的三维点经过旋转平移刚体变换到当前帧中j位置，变换公式如下：

其中X,Y,Z分别表示相机坐标系下的三维点在XYZ三个方向上的坐标；u，v表示像素坐标；f_x，f_y分别表示X，Y方向上焦距；

方差的定义如下：

其中表示图片灰度的方差，V_i(p)表示参考帧深度图像素点p的方差；

2.3)用高斯牛顿迭代法求解步骤2.2)中代价函数最小时的ζ，得到参考帧和当前帧之间的旋转平移关系；

2.4)对参考帧灰度图上所有点求梯度，选取其中梯度大于门限的点；接着对这些点进行筛选；遍历所有符合要求的点，根据极线集合搜索这些点在当前帧极线上的对应点；并根据单目视觉三维重建几何知识计算点的空间坐标；

2.5)用卡曼滤波器对新得到的深度值与参考帧深度图中的深度值融合；

3)结合步骤2)中获得的点云和相机运动关系，利用图像的明暗情况信息对图像深度进行重建。

2.根据权利要求1所述的基于相机运动和图像明暗的Kinect深度重建方法，其特征在于，所述步骤3)包括以下步骤：

3.1)进行当前帧下的深度摄像头采集到的深度图像与单目彩色摄像头采集到的彩色图像的对齐；由于彩色摄像头与深度摄像头之间存在视场范围的差异，所以只有二者视场重叠部分才具有有效的深度值，因此对齐后得到的是不完整的深度图；

3.2)按照深度摄像头中针孔相机的模型，将该不完整的深度图进行三维点云的生成；针孔相机模型简述为：一个空间点的空间坐标[x,y,z]与它在图像中的像素坐标[u,v,d]之间的关系表述为：

z＝d/s

x＝(u-c_x)·z/f_x

y＝(v-c_y)·z/f_y

其中，d是深度图中每个像素的深度值，s是深度图的缩放因子，c_x与c_y是主点的横纵坐标，f_x与f_y是横坐标方向和纵坐标方向的焦距分量；

利用上述公式对每个像素的像素坐标转换成对应的空间坐标，即可完成深度图到三维点云的转换；

3.3)将单目算法中生成的点云与上述不完整的深度图生成的点云二者使用点对点的迭代最近邻点ICP算法进行配准得到二者之间的旋转矩阵R和平移矩阵T；

3.4)根据上述得到的旋转矩阵和平移矩阵，将单目算法获得的点云转换到不完整的深度图生成的点云的坐标体系下，并将二者拼接成一个大的点云；

3.5)对于深度图中由于视场范围不重叠而形成的深度值无效区域，对每个处于无效区域中的像素，计算其空间位置；若该像素对应的空间点位置正好与大的点云中某点空间位置重合，则直接将该点的z坐标也就是深度值赋予该像素作为其深度值；若该像素对应的空间点并未与点云中的点重合，则计算该空间点与它在大的点云中的相邻点云点的距离之和的平均值，若该值大于某个阈值，则将该值作为该像素值的深度值；

3.6)检测深度图中是否还有未有有效值的像素点；若仍有未有有效值的像素点，则使用联合双边滤波器对深度图进行深度值填补，确保深度图中每个像素点都具有深度值；

3.7)使用关于每个像素点的法线向量为变量的扩展内在图像分解模型函数作为每个像素点的光照模型函数；使用到的扩展内在图像分解模型函数为：

3.8)为图像中的每个像素计算明暗信息；明暗信息函数使用零阶和一阶球谐系数与点云表面法线向量的线性多项式的矩阵形式表示，也就是：

首先计算出每个点的法线向量，然后通过最小化明暗函数与真实光照强度间的差值的目标函数，从而求解出明暗函数的参数向量，从而为每个像素点确定了明暗函数值；

3.9)为图像中的每个像素计算反照率；由于明暗信息函数仅仅考虑到远距离光源和环境光源，因此它是对光照的初步预测，因而为了考虑到镜面反射、阴影以及近光源造成的效果，需要为每个像素引入不同的反照率；

构造最小化目标函数为：

其中，ρ是每个像素的反照率，I是每个像素的光照强度，N是全图迭代操作中当正在操作的像素的一个邻域，ρ_k是该邻域内的像素点，λ_ρ是参数，而且，

3.10)为图像中的每个像素计算由于局部光照差异所导致的光照差异值；

构造最小化目标函数为：

其中，β是每个像素点的光照差异值，β_k是全图迭代操作中当正在操作的像素的一个邻域内的像素点；是参数；

3.11)构造明暗模型与实际测量到的光照强度之间的目标函数，并使用改进的深度增强加速算法对该目标函数进行最小化，从而得到优化后的深度图；

首先将每个像素对应的点云上的点的法线表示成深度图的梯度形式，即:

其中，

▽z是深度图的梯度；

然后建立深度优化的目标函数为：

其中，

Δz是深度图的拉普拉斯变换；是参数；

然后使用深度增强加速算法对深度进行迭代优化，如下：

①输入初始的深度图，以及球谐系数以及向量化的反照率向量ρ和光照差异值向量β；

②当深度优化目标函数值一直处于减小状态时，循环执行步骤③到⑤；

③更新其中

④更新

⑤更新z^k，使得f(z^k)更小；

此步骤结束后，再返回单目算法中运行步骤2.1)至步骤2.5)，程序将一直执行直至检测到用户执行终止方法运行的操作。