[发明专利]一种维度变换空间下基于定向滤波的深度图预处理方法

说明书

技术领域

本发明属于三维视频技术领域，具体涉及2D/3D的视频转换技术，特别是一种维度变换空间下基于定向滤波的深度图预处理方法。

背景技术

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。由此可见，深度图预处理是DIBR技术中的一个重要环节。

传统的深度图预处理通常采用全局滤波方法，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填充。这类方法运行效率高作用明显，但是全局滤波方式可能会导致虚拟图像中的非空洞区域也产生几何形变。针对这一问题，近年来提出的改进方法实现了空洞区域的局部化滤波，取得了较好的效果。但是在这类方法中，局部化限定参数仍未实现自适应调整，且滤波前需要增加额外的处理流程来对空洞区域进行检测，在一定程度上影响了DIBR环节的运行效率。

发明内容

有鉴于此，本发明方法提出了一种维度变换空间下基于定向滤波的深度图预处理方法。本发明方法属于局部化滤波方法，但与现有方法不同，本方法没有在滤波前增加额外的空洞检测环节，而是在维度变换域联合滤波框架下通过渲染合成分析手段加入了定向滤波约束，这样不需要预先设定局部化参数就能够将深度图平滑过程自适应的限制在了空洞附近进行，在实现3D视频的转换效果提升的同时保证了算法的运行效率。

为达到上述目的，本发明采用以下技术方案：

一种维度变换空间下基于定向滤波的深度图预处理方法，包括如下步骤：

A)对原始深度图D_Ori进行渲染合成分析，并生成定向约束分布图W_direction；

B)在维度变换域下结合纹理图像I_texture和定向约束分布图W_direction，对原始深度图D_Ori进行联合滤波，生成平滑后的深度图D_Fin；

其中，步骤A)的渲染合成分析主要判断待合成的虚拟图像类型，如果为左视角图像，则生成的定向约束分布图W_direction包含左视角定向约束；否则，包含右视角定向约束；

其中，步骤A)的定向约束分布图W_direction具体定义为：

其中，p对应原始深度图上的一点。如果N(p)表示p的邻域，则V_sl(p)表示N(p)左半邻域的深度均值，V_sr(p)表示N(p)右半邻域的深度均值。

其中，步骤B)中在维度变换域下的联合滤波为:滤波函数定义如下：