[发明专利]基于深度置信度的分层联合双边滤波深度图修复方法

说明书

本发明公开了一种基于深度置信度的分层联合双边滤波深度图修复方法，首先基于深度信息获取构建RGB‑D相机深度退化模型；其次对获取的深度图进行深度像素置信度分类，然后在联合双边滤波的基础上结合深度置信度测量机制提出分层联合双边滤波；最后利用分层联合双边滤波对修复区域完成深度图修复。相比现有技术，本发明方法对深度图的修复在边缘保持效果、深度值连续性上进一步提高了精度，能获取高精度三维深度图。

技术领域

本发明属于深度图像修复技术领域，具体涉及一种基于深度置信度的分层联合双边滤波深度图修复方法。

背景技术

在三维重建、人机交互(Human-Computer Interaction，HCI)和汽车辅助驾驶等图像分割、目标检测、物体跟踪等领域中三维深度信息是三维场景信息的重要特征。深度信息的获取则成为三维信息的研究热点。深度图能够直接反映出场景物体到相机的距离，目前深度图通常通过三维深度相机(例如Kinect和Time of Flight，ToF)获取，但其存在分辨率低、深度值缺失和噪声污染等问题。

到目前为止，主要获取深度信息的两类方法：被动方法和主动方法。被动方法(立体匹配)是在多视图中进行对应像素点匹配，然后估计像素点的视差求取深度，是获取深度信息的经典算法，该方法不依赖于复杂的设备，只需要拍摄双视图或多视图图像计算估计深度信息，如通过立体匹配和三角测量计算图像的深度信息，但实际应用仍然存在需精度高的图像校正算法以及无纹理区域低效率问题等。与被动方法不同，获取深度信息的主动方法是通过基于3D飞行时间相机(例如，3D-ToF，Kinectv2和基于结构光相机(例如，Kinectv1)来实现动态场景的深度信息实时获取。ToF相机可以获取实时动态场景的深度信息，但是存在分辨率低和噪声干扰等问题。而Kinect相机生成的深度图通常容易产生与深度距离相关的测量误差，导致深度不连续、彩色图像中边缘之间的不匹配，以及由于无效测量引起的各种空洞。针对ToF相机存在的问题，主要通过扩大空间分辨率和平滑噪声来进行深度修复；而针对Kinect相机深度不连续和空洞问题，主要利用丢失的深度值来填充空洞进行深度修复。针对以上两种深度图像的修复问题，现有技术中存在用于以上深度图中深度数据的优化算法，如联合双边滤波器(Joint Bilateral filtering，JBF)和扩展双边滤波器(Bilateral filtering，BF)可有效用于深度图修复，基于彩色图像引导设定双边权重，但深度图像的边缘信息/纹理信息被忽略，不充分考虑彩色纹理信息，容易产生纹理伪像和深度不连续性问题。而由于深度图的待修复区域主要分布在发生遮挡区域和无纹理区域，其他区域是单独的小噪声像素，联合双边滤波器窗口尺寸大小固定，小尺寸窗口处理大空洞区域效果有限，采用大尺寸窗口则会增加算法的处理时间，造成边缘模糊和纹理伪像。

发明内容

有鉴于此，本发明的目的在于避免现有技术中的不足而提供一种基于深度置信度的分层联合双边滤波深度图修复方法，其对深度图的修复在边缘保持效果、深度值连续性上进一步提高了精度，能获取高精度三维深度图。

本发明的目的通过以下技术方案实现：提供基于深度置信度的分层联合双边滤波深度图修复方法，所述方法包括以下步骤：

S1、基于深度信息获取构建RGB-D相机深度退化模型；

S2、采用深度置信度测量机制对获取的深度图进行深度像素置信度分类；

S3、依据联合双边滤波结合深度置信度测量机制提出分层联合双边滤波；

S4、利用分层联合双边滤波对修复区域完成深度图修复。

作为进一步的改进，所述步骤S1中深度退化模型为：

I₀＝P*I+n (1)

式中，I和I₀分别表示深度信息实际值和深度相机设备捕获的深度图，P表示观测矩阵，n是随机产生的噪声。