[发明专利]一种基于混合滤波的深度图空洞修复方法

说明书

本发明公开了一种基于混合滤波的深度图空洞修复方法，步骤如下：获取待修复深度图像；识别其空洞区域；计算空洞内像素的优先级；将优先级高于阈值的像素放入优先级队列中进行填补；待空洞区域修补结束之后，再修补非空洞区域；对于空洞区域和非空洞区域，分别先修复非边缘区域再修复边缘区域。本发明提出了为空洞中的所有像素设置优先级，优先级取决于邻域像素对中心空洞像素的支持度和可信度。随着未知像素不断地被填补，空洞边缘不断缩小，同时更新空洞边缘的像素的优先级，且自适应性的更新阈值，保证优先级最高的像素被优先填补。本发明在联合双边滤波原理上加入纹理和结构信息，对于纹理和结构复杂的图像有较好的处理效果。

技术领域

本发明属于三维重建中深度图修复技术领域，具体涉及一种基于混合滤波的深度图空洞修复的方法。

背景技术

日常的生活场景均为三维立体场景，即都是有众多的三维信息交织而成，而人类来接受这些信息也是在人类视觉感知和处理的基础之上。目前三维重建主要是通过立体视觉技术将二维信息转化为三维信息，从图像中提取数据实现二维物体的三维重建。目前，有两种主流技术可以对三维场景进行重建：其一是采用多视图的方法进行重建，通过摄像机或者照相机利用双目或多目立体视觉来推断出场景或者场景中的物体的三维信息并显示；另外一种是通过“深度+纹理”的方式，在彩色图和深度图像的基础上重建三维模型。纹理彩色图像是描述物体的纹理信息，与纹理彩色图像不同，深度图像的灰度值表示图像中物体与摄像机之间的距离，值越大表示距离越远。

在深度图像有多种获取方式在获取过程中，由于设备本身的限制和外界环境因素的干扰，如：传感器硬件的标定误差和偏移量的误差、偏移量的测量精度会在光照条件受到影响、物体表面材料质地的影响等，使得采集到的深度图像会存在深度值为0的区域，即空洞，这会导致三维重建的效果很差。

目前针对三维重建中图像修复主要通过滤波算法，1998年Tomasi与Maduchi第一次提出了双边滤波算法的理论，之后经过历年的改进，2014年Anh Vu Le等人提出基于方向的联合双边滤波和局部基于方向的联合双边滤波算法，在其公式中空间邻近度的计算中进一步的加入边缘方向因素，即内核为基于方向的高斯滤波，并在深度图像空洞修复中，图像中像素是否处于空洞中、是否处于物体边界分为四种来类型，并通过实验找到一种算法的组合方式，使对于不同的情况运用不同的算法，更加有效的且准确的进行空洞修复。但是，基于联合双边滤波的算法及其改进算法，多着重于中心空洞像素深度值的计算上改进和完善，对于整体的空洞像素填补策略没有过多完善。这样就会导致一些不必要的误差，例如某未知中心像素，虽然周围临近像素与此中心像素的相似度较高，但像这样已知的临近像素个数较少，如果先进行该像素的计算难免会因为周围邻域像素的信息缺失而导致误差。另外，目前的算法在修复过程中并没有加入图像的主结构信息和纹理信息，这会影响边缘像素计算的精确性及对图像整体的修复能力。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于混合滤波的深度图空洞修复方法。

为了实现本发明的上述目的，本发明提供了一种基于混合滤波的深度图空洞修复方法，其包括如下步骤：

S1，获取待修复深度图像；

S2，识别空洞区域，深度值为0的像素为空洞像素；

S3，设置优先级初始阈值，计算所有空洞填补区域像素的优先级，优先级通过空洞像素的支持度r1和可信度r2所决定；

S4，优先级大于阈值的像素放入优先级队列中，并将队列中的像素按照优先级从大到小的顺序进行深度值的计算；

S5，通过全变分模型从彩色图像中提取其主结构信息和纹理信息；