[发明专利]一种联合颜色与深度信息的自适应深度图像修复方法

说明书

本发明公开了一种联合颜色与深度信息的自适应深度图像修复方法，通过获取待修复深度图及待修复深度图深度处理前的颜色原图；然后根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标，从而确认深度图的空洞和噪点坐标信息，然后对于待修复深度图中的噪点，采用双边滤波方法进行图像噪点修复；对于待修复深度图中的空洞，获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点，完成空洞的修复，采用双选择处理方法分别实现空洞和噪点信息的修复问题，有效地解决了单一滤波器不能处理深度图像中大面积空洞的问题，减小了深度图像修复误差，实现了场景的深度图像合理修复，取得了很好的效果以及性能表现。

技术领域

本发明涉及计算机视觉的深度图像修复领域，具体涉及一种联合颜色与深度信息的自适应深度图像修复方法。

背景技术

深度图像在计算机视觉领域特别是3D目标检测方面具有重要作用。但受限于信息采集器的精度和复杂的图像采集场景，所获取的深度图经常会出现大面积的空洞和噪点。以室内数据集NYUV2为例，如图2所示，NYUV2数据集的深度图存在许多较大的空洞，并且图像场景复杂，物体之间存在堆叠、大面积遮挡和截断等现象。对于3D目标检测任务来说，利用深度图直接从2D分割区域推断物体的3D位置具有很大的误差和不确定性。深度图像修复具有很重要的现实意义。而对于一幅待修复图像，传统的滤波算法用统一大小的滤波核进行滤波，如果滤波核较大，会模糊图像的细节信息；如果滤波核较小，对于“空洞”这种情况，则无法用周围的信息来估计，从而造成深度图像修复误差大。

发明内容

本发明的目的在于提供一种联合颜色与深度信息的自适应深度图像修复方法，以克服现有深度图像修复方法对图像修复误差大的问题。

为达到上述目的，本发明采用如下技术方案：

一种联合颜色与深度信息的自适应深度图像修复方法，包括以下步骤：

步骤1)、获取待修复深度图及待修复深度图深度处理前的颜色原图；

步骤2)、根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标，当待修复深度图坐标点(x,y)处的深度值小于等于有效深度阈值时，则待修复深度图坐标点(x,y)处的为空洞；当待修复深度图坐标点(x,y)处的深度值大于有效深度阈值时，则待修复深度图坐标点(x,y)处的为噪点；

步骤3)、对于待修复深度图中的噪点，采用双边滤波方法进行图像噪点修复；对于待修复深度图中的空洞，获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点，完成待修复深度图中空洞的修复。

进一步的，步骤2)中，通过下式求得待修复深度图的掩码：

threshold为有效深度阈值；mask(x,y)为掩码；depth(x,y)为深度图坐标(x,y)处的深度值。

进一步的，步骤3)中，待修复深度图中的噪点和空洞修复计算如下公式：

其中是待修复深度图空间域的高斯核矩阵，是待修复深度图值域的相似度高斯核矩阵，是颜色原图的高斯滤波核矩阵；W(x,y)双边滤波的权值模板系数。

进一步的，当待修复深度图坐标点(x,y)处的为噪点时，根据下式计算双边滤波的权值模板系数W(x,y)：

其中，是待修复深度图空间域的高斯核矩阵，是待修复深度图值域的相似度高斯核矩阵；

其中：

其中，I_x,y为待修复深度图中待修复像素的邻域值，为待修复深度图中待修复的像素值；