[发明专利]适用于Kinect的图像采集与深度图增强方法及装置

说明书

本发明公开了一种适用于Kinect的图像采集与深度图增强方法及装置，属于图像处理领域，该方法包括：基于深度相机数据采集、改进基于FMM算法的深度图空洞修复及深度图边缘噪声平滑，该部分又包括彩色深度图的初步原始数据采集，然后对初步原始数据进行格式转换，处理得到彩色深度图的原始数据；针对得到的深度图数据以及深度图中存在的空洞，采用基于反阈值二值化的修复掩膜生成方法，对深度图中的大面积空洞进行修复；针对空洞修复得到的深度图像，采用基于中值滤波的图像边缘噪声平滑方法，对深度图像作进一步的图像增强处理。通过本发明能够明显的去除深度图中的空洞和噪声，进一步增强Kinect在计算机视觉中的应用性和可靠性。

技术领域

本发明属于图像处理领域，涉及基于深度图像的数据预处理方法，更具体地，涉及一种适用于Kinect的图像采集与深度图增强方法及装置。

背景技术

深度信息在许多计算机视觉应用中起着重要作用，例如增强现实，场景重建，3D电视辅助传感器等。传感器技术的进步，使市场上出现了许多深度感应摄像头。作为低成本和实时深度传感器，代表性产品如Microsoft公司生产的Kinect深度传感器，是结构光类型的相机传感器，结构光传感器测量受到多次反射，遇到异常反射，光线阻挡和反射障碍，就会使原始Kinect深度图存在许多问题，一些区域缺少深度数据。而这种误差是影响Kinect数据使用和应用开发的重要问题。

因此，在诸如Kinect类深度相机的图像应用之前，需要对其数据进行预处理，填充空洞像素和平滑图像噪声，使其在计算机视觉应用中的可靠性得到提高。基于此，如何有效地基于深度图像的数据预处理，是目前需要解决的一个技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种适用于Kinect的图像采集与深度图增强方法及装置，由此解决如何有效对深度图像数据进行预处理，以填充空洞像素和平滑图像噪声的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种适用于Kinect的图像采集与深度图增强方法，包括：

(1)获取原始深度图像，对所述原始深度图像进行格式转换，得到目标格式的深度图像；

(2)根据所述目标格式的深度图像中的待修复区域是否位于图像的边缘位置确定目标掩膜生成方式，基于所述目标掩膜生成方式得到所述目标格式的深度图像中待修复区域的掩膜；

(3)将所述待修复区域的掩膜结合快速行进算法对所述目标格式的深度图像中的待修复区域进行空洞填补得到修复后的深度图像；

(4)对所述空洞修复后的深度图像进行中值滤波，以去除图像边缘噪声，得到图像增强处理后的深度图像。

优选地，步骤(2)包括：

若所述目标格式的深度图像中的待修复区域不是位于图像的边缘，则在OpenCv的接口函数cvInpaint中加上鼠标回调函数，然后根据所述目标格式的深度图像中的待修复区域对颜色阈值范围进行设定，得到所述待修复区域的掩膜。

优选地，步骤(2)包括：

若所述目标格式的深度图像中的待修复区域位于图像的边缘，则由确定待修复区域掩膜的反二值阈值化函数，以对所述待修复区域的颜色阈值范围进行设定，得到所述待修复区域的掩膜，其中，threshhold为预设阈值，I(x,y)表示所述待修复区域的像素点(x,y)处的像素值，Ω表示待修复的区域。

优选地，步骤(3)包括：