[发明专利]一种保留边界特征的深度图像增强方法

说明书

本发明公开的一种保留边界特征的深度图像增强方法，属于深度图像处理领域。本发明实现方法为：对彩色相机和深度相机进行标定，获得像素一一对应的彩色‑深度图像组；对深度图像进行中值滤波处理，得到深度值可靠的深度图像。获取深度值可靠的深度图像的空洞掩模，并运用Sobel梯度变换确定空洞的边界方向。对得到的彩色图像和空洞掩模进行定向联合双边滤波，得到增强后的深度图像。计算增强后深度图像的空洞像素百分比HPP；对深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。通过迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。

技术领域

本发明属于深度图像处理领域，特别是涉及一种保留边界特征的深度图像增强方法。

背景技术

近年来，立体成像技术得到快速发展，其中包含场景深度信息的深度图像作为环境感知、场景理解的重要线索，在计算机视觉领域得到广泛应用，如：机器人导航、人机交互、三维场景重建等。目前，获取深度信息的传感器主要有两种：一种是基于ToF技术的深度传感器，另一种是基于结构光技术的深度传感器。基于ToF技术的深度传感器利用特定频率的脉冲光在空间中的飞行时间测量空间距离。该技术存在获取的深度图像分辨率低，且环境光可以使传感器饱和，导致部分深度信息丢失，出现空洞等缺点。基于结构光技术的深度传感器向空间中投射特定的图案，通过分析接收到的图案的变形，测量空间深度信息。该技术主要缺点是测量距离短，深度图像易受环境光干扰，且遮挡、空间物体表面反射率以及空间不连续性导致深度图像出现噪声和空洞。因此，利用深度传感器获取的深度图像普遍含有噪声和空洞。

为此，对于含有噪声和空洞的深度图像，需要应用深度图像增强方法。目前的深度图像增强方法主要存在空洞处深度值填充不准确和物体边缘保留特性差的缺陷，比如：浙江大学的CN103198486号专利“一种基于各向异性扩散的深度图像增强方法”提出利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散依据，基于深度图像的已知深度，完成对空洞区域的深度填充。但该方法把空间中不同位置处相同颜色物体填充为相同的深度值，导致深度填充不准确且边界模糊。长春理工大学的CN106780383号专利“TOF相机的深度图像增强方法”提出利用滤波和插值的方法抑制深度图像噪声和提高深度图像分辨率，但未对深度图像中的空洞缺陷给予解决。

发明内容

本发明公开的一种保留边界特征的深度图像增强方法，要解决的技术问题是实现对深度图像去噪和空洞填充，且能保持画质清晰和特征完整。

本发明采用下述技术方案实现：

本发明公开的一种保留边界特征的深度图像增强方法，首先，对彩色相机和深度相机进行标定，获得像素一一对应的彩色-深度图像组；接着，对深度图像进行中值滤波处理，得到深度值可靠的深度图像。再获取深度值可靠的深度图像的空洞掩模，并运用Sobel梯度变换确定空洞的边界方向。然后，对得到的彩色图像和空洞掩模进行定向联合双边滤波，得到增强后的深度图像。计算增强后深度图像的空洞像素百分比HPP；对深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。通过迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。

本发明公开的一种保留边界特征的深度图像增强方法，包括如下步骤：

步骤一、分别对彩色相机和深度传感器进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组。

利用彩色相机拍摄到的彩色图像和深度传感器获取的同一场景的深度图像对彩色相机和深度相机进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组。

所述的深度传感器优选Kinect传感器。

步骤二、利用中值滤波对步骤一中得到的深度图像进行滤波处理，得到深度值可靠的深度图像。