[发明专利]一种基于分块投影的DIBR方法

说明书

技术领域

本发明涉及3D视频技术、自由视点视频技术及基于深度图绘制技术的领域，尤其是指一种基于分块投影的DIBR方法。

背景技术

基于深度图的绘制(DIBR)技术(参见文献“郁理.基于深度图像绘制的自由视点视频关键技术研究[D].[博士论文].中国科学技术大学,2010”),以摄像机投影理论为视点绘制的理论基础,在已知摄像机内、外参数和参考图像深度信息的条件下,将参考视点中的像素点变换到目标视点下的图像平面中。理论上,可以实现任意位置的视点绘制,具有绘制速度快,带宽需求小的优点,是各种高级视频应用,如3D电视、自由视点电视的关键技术之一。

然而，DIBR技术也存在自身的局限性，1)目标视点图像不可避免的会产生空洞,一类空洞是由于计算中坐标取整时的近似处理造成的；另一类是由于参考视点位置的改变以及深度图不连续而产生的,这是最主要的问题。2)可视化问题,正常情况下应该是前景图像覆盖在背景之上,而实际中可能出现相反的情形,当两个不同的深度值投影到同一像素点时,会发生此种问题.3)边缘重影,由于深度信息及相机参数的精度等原因,在背景中出现了前景图像边缘区域的假象。

上述几个问题的出现，究其原因是深度信息不够理想，国内外许多学者对此进行了研究。一种方案是采用层次化深度图(LDI)技术(参见文献“Shade J,Gortler S,He L W,et al.Layered depth images.Proceedings of the25^th Annual Conference on Computer Graphics and Interactive Technique.New York,1998:231-242”),然而其传输带宽大、计算复杂度高的问题,使其不具有实际应用的价值.深度图预处理技术是另一个有效的途径,对应有各种滤波策略,如高斯滤波(参见文献“Zhang L,Tam W J.Stereoscopic image generation based on depth images for3DTV.IEEE Transactions on Broadcasting,2005,51(2):191-199”)、基于边缘独立的深度滤波(参见文献“Wan-Yu Chen,Yu-Lin Chang,Shyh-Feng Lin,et al.Efficient Depth Image Based Rendering with Edge Dependent Depth Filter and Interpolation.Proceedings of IEEE Conference on Multimedia and Expo,Amsterdam,2005:1314-1317”)、基于SIFT配准的深度图预处理(参见文献“Hao-Peng Li,Markus Flierl.Sift-based improvement of depth imagery.Proceedings of IEEE Conference on Multimedia and Expo,Barcelona,2011:1-6”以及文献“Hu Dong,Sun Jianfei,Xu Ping.Improvement of virtual view rendering based on depth image.Proceedings of IEEE Conference on Image and Graphics,Hefei,2011:254-257”)、视差域处理(参见文献“Ting-Ching Lin,Hsien-Chao Huang,Yueh-Min Huang.Preserving Depth Resolution of Synthesized Images Using Parallax-Map-Based DIBR for3DTV.IEEE Transactions on Consumer Electronics,2010,56(2):720-727”)、形态学处理(参见文献“骆凯,李东晓,冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报,2010,15(3):443-449.”)等方法.这些方法都有效地缩小了空洞的尺寸、减少了空洞的数量,但对应深度图的精度也随之降低了,致使目标视点产生部分几何失真.还有一个思路是与图像修复技术(参见文献“骆凯,李东晓,冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报,2010,15(3):443-449”以及文献“Tauber Z,Li Z N,Drew M S.Review and preview:Disocclusion by Inpainting for image-based rendering.IEEE Transactions on Systems Man and Cybernetics,Part C:Applications and Reviews,2007,37(4):527–540”)相结合的空洞修补策略,但是增加了计算复杂度.另外一些方法(参见文献“Gang Song,Jinbao Xue,Hua Li.A new double-sided DIBR method for virtual view generation in3DTV.Proceedings of IEEE Conference on Communication Technology,Jinan,2011:1099-1102”以及文献“Ndjiki-Nya Patrick,Koppel Martin,Doshkov Dimitar,et al.Depth Image-Based Rendering with advanced texture synthesis for3-D video.IEEE Transactions on Multimedia,2011,13(3):453-465”)采用双边同时做视点变换,通过图像融合来绘制视点的策略,然而,当深度信息误差较大时,目标图像中易产生明显的重影。