[发明专利]一种Kinectv2深度图像无效点修复方法

权利要求书

1.一种Kinect v2深度图像无效点修复方法，其特征在于，包括如下步骤：

S1：通过Kinect v2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；

S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；

S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值的出现的频率，计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；

S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点；

S1具体包括如下步骤：

S101:搭建多模态图像采集系统；

S102:同时启动Kinect v2中的彩色视频流和深度视频流，获取同一场景中的彩色和深度图像；

S2具体包括如下步骤：

S201:通过Kinect v2相机同时获取同一时刻，同一位置的彩色和深度棋盘格图像；

S202:利用Opencv3中张正友标定函数，分别完成彩色和深度相机的内外参数的标定，即计算彩色和深度相机的内参矩阵(K_c,K_d)和彩色相机的外参矩阵(R_c,T_c)、深度相机的外参矩阵(R_d,T_d)；

S203：根据相机成像原理，将图像坐标系与相机坐标系通过如下方程式进行转换：

其中p_c和p_d分别表示彩色和深度图像中一点，P_c,P_d分别表示相应的彩色相机和深度相机坐标系下的对应点；

S204：根据相机模型，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵R和平移向量T描述，通过如下方程式进行转换：

P_c＝RP_d+T (3)

其中公式(2)分别表示彩色相机坐标系，深度相机坐标系与世界坐标系之间的变换关系，公式(3)表示深度相机坐标系与彩色相机坐标系之间的关系，P_w表示世界坐标系下的任意一点，

通过公式(1)，(2)，分别得到旋转矩阵R和平移向量T如下：

通过公式(1)，(3)，(4)得出彩色图像与深度图像之间配准关系如下：

通过公式(5)，获取深度图像对应的彩色图像，即完成彩色和深度图像的配准及对齐；

S3具体包括如下步骤：

S301：通过遍历原始深度图像中所有深度值为零的点完成深度图像中无效点的标记，具体表现为：通过二维向量保存无效点的坐标值；

S302：通过无效点的标记坐标，计算无效点八邻域内有效深度值的概率p(d(s)|{d(s′)|s′∈Ω_sd(s′)＞0})，为了简化系统的时间复杂度，通过如下公式计算其等价的有效深度值出现的频率n_v(s)，

n_v(s)＝N/Ω_s (6)

其中，N为无效点八邻域的有效深度值的个数，Ω_s为无效深度点的八邻域；

在频率n_v(s)的基础上，通过如下公式计算无效点八邻域内有效深度值的标准差σ_d(s)：

其中

其中，d(s)表示深度图像中任意无效深度点s的深度像素值，d(s′)表示s八邻域内有效深度值点s′的深度像素值，ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，μ_d(s)表示无效深度点s八邻域内有效深度值的均值；

S303：计算已标记的无效点八邻域内有效深度值出现的频率n_v(s)，根据n_v(s)和标准差σ_d(s)，通过如下公式计算无效点的优先级评估函数R(s)：

其中，1/C_σ是归一化参数，该参数能够使σ_d(s)/C_σ处于[0,1]。

2.根据权利要求1所述的Kinect v2深度图像无效点修复方法，其特征在于，S4具体包括如下步骤：

S401：利用Opencv3中的cvtColor函数将与深度图像对齐的RGB空间的彩色图像变换到Lab色彩空间；

S402：根据S201-S204计算的彩色相机和深度相机的内参矩阵(K_c,K_d)及两相机之间的旋转矩阵R和平移向量T，得到深度图像中任一有效深度值对应的原始彩色图像的像素坐标的关系如下：

其中(x,y)表示原始彩色图像中坐标，(u,v)表示原始深度图像中的坐标，Z_c表示彩色相机与物体表面之间的距离，d表示深度相机与物体表面之间的距离；

S403：假设无效点八邻域内任一有效深度值为该无效点的修复深度值，即：d(s)＝d_i(s′)，通过公式(10)分别计算出其对应原始彩色图像中的像素坐标，从而索引其对应的彩色像素值c_i(s)，将c_i(s)从RGB色彩空间变换到Lab色彩空间，然后分别在对齐的彩色图像上索引无效点八邻域内有效深度值点对应彩色图像中的真实彩色像素值c_i(s′)，通过相似度度量关系，计算与无效点s对应彩色图像中的像素点相似度最高的像素坐标，相似度度量关系如下：

其中ψ_s＝{s′|s′∈Ω_s,d(S′)＞0}表示无效深度点s八邻域内有效深度值的集合，c_i(s)[L],c_i(s)[a],c_i(s)[b]分别表示彩色像素值c_i(s)在L,a,b三个通道上的像素值，c_i(s′)[L],c_i(s′)[a],c_i(s′)[b]分别表示真实彩色像素值c_i(s′)在L,a,b三个通道上的像素值；

S404：根据公式(9)优先级评估函数计算的无效点修复秩序，迭代应用公式(11)求解的像素坐标对应的深度值修复无效点，从而完成深度图像中全部无效点的修复。