[发明专利]一种Kinectv2深度图像无效点修复方法

说明书

本发明提供一种Kinect v2深度图像无效点修复方法。本发明方法，包括：S1：通过Kinect v2相机分别捕获同一场景中的多模态图像；S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，进而完成彩色图像和原始深度图像的配准；S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值出现的频率，计算该频数下有效深度值的标准差，进而完成无效点填充优先级的评估；S4：计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。本发明不仅能够修复原始深度图像中的无效点，而且能够提高修复结果的可靠性，可在图像处理领域广泛推广。

技术领域

本发明涉及图像处理领域，尤其涉及一种Kinect v2深度相机获取的深度图像中无效点修复方法。

背景技术

深度相机作为一款新的传感器，它已被广泛应用于人机交互游戏、智能移动机器人、增强现实及三维模型重建等各个领域。其中最流行的是微软发布的Kinect系列的最新版本—Kinect v2。它同时集成了分辨率为1920*1080的彩色摄像机，高精度的红外光投射仪以及分辨率为512*424的深度成像仪。Kinect V2使用TOF技术测量场景中物体的深度，该技术通过测量红外光发射和接受的时间差来计算相机平面和物体间的距离。

相比于其他深度相机，尽管Kinect v2捕获的深度图像在精度与鲁棒性上有相对较高的可靠性，但它仍然存在一些局限性。根据Kinect v2的深度测量机制，Kinect v2获取的深度图像可能会含有三种不同类型的无效点(深度值为零的像素点)。(1)由于Kinect V2深度相机视野扩大，造成返回的红外光强度减弱，进而导致深度成像仪无法捕获到返回的红外光，产生第一类无效点。(2)由于场景的遮挡，深度成像仪无法捕获到红外光，产生第二类无效点。(3)由于物体表面的反射率太低或深度相机与物体相距太近或太远，造成深度成像仪无法计算发射红外光与接受红外光之间的相位差，产生第三类无效点。

由于深度图像中无效点的存在，在一定程度上降低了人机交互的真实感，三维重建模型的精度等问题，这一问题引起了国内外学者的广泛研究，并提出了很多关于深度图像修复的方法。这些方法基本可以分为两类：一类是基于彩色图像引导的修复方法；另一类是基于深度图像像素分布的修复方法。但现有技术的方法或多或少都存在不能大面积修复遮挡造成的无效点、不能很好地修复深度图像视野周围出现的无效点、不能很好地修复因深度相机视野扩大引起的无效点等弊端。

发明内容

根据上述提出的技术问题，而提供一种修复效果可靠的Kinect v2深度图像无效点修复方法。本发明采用的技术手段如下：

一种Kinect v2深度图像无效点修复方法，包括如下步骤：

S1：通过Kinect v2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；

S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；

S3：通过遍历原始深度图像完成深度图像中无效点的标记，计算无效点八邻域内有效深度值的频率，并计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；

S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。

进一步地，S1具体包括如下步骤：

S101:搭建多模态图像采集系统；