[发明专利]适用于DIBR预处理过程的深度图鲁棒平滑滤波方法

说明书

本发明公开了一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法，包括如下步骤：对原始深度图和纹理图像分别进行边缘检测，进行一致性分析，并生成一致性分布图；在维度变换域下对原始深度图进行结合了一致性分布和纹理特征的联合滤波，生成平滑后的深度图。本发明方法在高效的维度变换域下，通过深度图和纹理图之间的一致性分布实现了更广义的联合滤波，从而在滤波的同时实现了不完整深度图区域的自适应扩散修正，避免了传统滤波过程前特定的预修正环节，从而实现了一种DIBR预处理过程中深度图的鲁棒平滑滤波。

技术领域

本发明属于三维视频技术领域，具体涉及2D/3D的视频转换技术，特别是一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法。

背景技术

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。由此可见，深度图预处理是DIBR技术中的一个重要环节。

但是在2D/3D视频转换中，深度图通常是利用2D视频中的一个或多个线索通过算法来预估合成的，难以保证合成深度图的完整性和精确性。特别是近年来越来越流行的全自动算法，直接面向海量的视频进行高效的转换，由于没有人工的修正，不完整的深度图区域影响了DIBR系统渲染出的3D视频效果质量。

发明内容

有鉴于此，本发明方法提出了一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法。与目前传统方法不同，本方法没有在DIBR深度图平滑前增加额外的深度图预修正环节，而是在维度变换域下通过一致性分布图将深度图修正环节统一在联合滤波的框架下，这样将深度图预修正在深度图平滑过程中同时进行，在实现3D视频的转换效果提升的同时保证了算法的运行效率。

为达到上述目的，本发明采用以下技术方案：

一种适用于DIBR预处理过程的深度图融合方法，包括如下步骤：

A)对原始深度图D_Ori和纹理图像I_texture分别进行边缘检测，进行一致性分析，并生成一致性分布图I_c；