[发明专利]用于多视点视频编码的方法和装置

说明书

技术领域

本发明总体上涉及数字视频编码，且更具体的涉及多视点视频编码(MVC)。 

背景技术

三维(3D)图像和视频不仅提供了更多的信息，还能给观众更好的体验。在数字娱乐中，由3D视频提供的用户深度感知以及相关的现实感已成为越来越具有吸引力的特征。这引起了对3D技术方案的日益增加的需求，且带动了用于3D电影和3DTV的图像采集、视频压缩和视频显示技术的快速发展。 

有两种流行的3D视频类型-立体视频和多视点视频。立体视频具有两个视点，通常是左和右，其模仿人类的立体视觉以提供深度感知。多视点视频具有两个或两个以上的视点，这些视点具有由用户选择或通过自动方式选择的视角。使用不同的视频显示技术的各种3D显示系统可用于播放3D视频的电影院和家庭娱乐市场。多视点视频编码是实现高效率的编码、存储和传输这样的视频数据的一项关键技术，如在以下文献中所描述：“Introduction to Multiview Video Coding”，ISO/IEC JTC 1/SC 29/WG11 Doc.N9580，2008年1月，安塔利亚，土耳其，在此通过引用的方式将其整体并入到本文中。 

在MVC中，摄像机之间的相对位置通常是公知的。计算机视觉的方法 可用于执行3D形状重建，以从其他视点预测一个视点的内容。该步骤包括边缘检测、深度估计、变换参数估计、3D渲染和其他相关操作。由于计算量巨大，以至于在视频编码应用中不能采用这些技术。即使一个视景中的三维信息是可用的，仍需要特定的3D加速计算机图形硬件来进行高质量的3D渲染，以实时的获取期望的视点。例如，以下文献报道了由具有30台个人电脑的集群构建的实时三维形状重建系统：T.Matsuyama，W.Xiaojun，T.Takai和T.Wada，“Real-time dynamic 3-D object shape reconstruction and high-fidelity texture mapping for 3-D video”，IEEE期刊，Circuit Syst.，Video Technol.，第14卷，第3期，第357-369页，2004年3月，在此通过引用的方式将其并入本文中。因此，用于手持设备的实时数字视频应用是不切实际的。 

以下文献描述了MPEG-2：ITU-T和ISO/IEC_JTC-1，“Generic coding of moving pictures and associated audio information-Part 2：Video”，ITU-T Recommendation H.262-ISO/IEC 13818-2(MPEG-2)，1995年，在此通过引用的方式将其并入本文中。以下文献描述了H.264/AVC：T.Wiegand，G.J.Sullivan，G. 和A.Luthra，“Overview of the H.264/AVC video coding standard”，IEEE期刊，Circuit Syst.，Video Technol.，第13卷，第7期，第560-576页，2003年7月，在此通过引用的方式将其并入本文中。通过暂时地或空间地交叉两个视点，MPEG-2和H.264/AVC都可支持多达两个视点，但编码效率不是很好。为充分利用不同视点的相关性，开发了来自联合视频组(JVT)的H.264/AVC的MVC扩展。它扩充了H.264/AVC的现有框架，而不是使用计算机视觉(CV) 的范式。由于与运动补偿预测(MCP)相似，所以采用基于块的视差补偿预测(DCP)来进行视点间预测。有很多预测技术，例如，如以下文献描述的多参考帧(MRF)：T.Wiegand，X.Zhang和B.Girod，“Long-term memory motion compensated prediction”，IEEE期刊，Circuit Syst.，Video Technol.，第9卷，第2期，第70-84页，1999年2月，在此通过引用的方式将其并入本文中；如以下文献描述的可变块大小(VBS)：G.J.Sullivan和R.L.Baker在Proceedings of Global Telecommunications Conference上发表的“Rate-distortion optimized motion compensation for video compression using fixed or variable size blocks”，亚利桑那州凤凰城，美国，1991年，第85-90页，在此通过引用的方式将其并入本文中；如以下文献描述的子像素MCP：T.Wedi和H.G.Musmann，“Motion-and Aliasing-Compensated Prediction for Hybrid Video Coding”，IEEE期刊，Circuit Syst.，Video Technol.，第13卷，第7期，第577-586页，2003年7月，在此通过引用的方式将其并入本文中；如以下文献描述的分层预测结构：H.Schwarz，D.Marpe和T.Wiegand在IEEE Int.Conf.Multimedia and Expo(ICME 2006)上发表的“Analysis of hierarchical B pictures and MCTF”，多伦多，加拿大，2006年7月，在此通过引用的方式将其并入本文中。上述多种预测技术和快速运动估计算法已可用于MCP。视点之间的差别被认为是由于照相机从一个位置摇摄到另一个位置而引起的。通过残留编码对预测误差进行编码。MVC扩展的主要贡献是提供有效DCP的图片组(GOP)结构，如在以下文献中所描述：P.Merkle，A.Smolic，K.Muller和T.Wiegand，“Efficient Prediction  Structures for Multiview Video Coding”，IEEE期刊，Circuit Syst.，Video Technol.，第17卷，第11期，第1461-1473页，2007年11月；以及M.Kitahara，H.Kimata，S.Shimizu，K.Kamikura，Y.Yashimata，K.Yamamoto，T.Yendo，T.Fujii和M.Tanimoto在IEEE Int.Conf.Multimedia and Exposition(ICME 2006)上发表的“Multi-view videocoding using view interpolation and reference picture selection”，多伦多，加拿大，2006年7月，在此通过引用的方式将上述文献并入本文中。率失真(RD)的改进与如以下文献中所描述的同时联播相类似：Y.J.Jeon，J.Lim和B.M.Jeon，“Report of MVC performance under stereo condition”，Doc.JVT-AE016，联合视频工作组，伦敦，英国，2009年6月，在此通过引用的方式将其并入本文中。以下文献也提出了在标准内的一些方法：T.Frajka和K.Zeger，“Residual image coding for stereo image compression”，0ptical Engineering，第42卷，第1期，第182-189页，2003年1月；J.Kim，Y.Kim，K.Sohn，“Stereoscopic video coding and disparity estimation for low bitrate applications based on MPEG-4 multiple auxiliary components”，Signal Processing：Image Communication，第23卷，第6期，第405-416页，2008年7月；以及X.M.Li，D.B.Zhao，X.Y.Ji，Q.Wang和W.Gao在Proc.IEEE Int.Conf.Image Process.(ICIP)发表的“A fast inter frame prediction algorithm for multiview video coding”，第3卷，2007年9月，第417-420页，在此通过引用的方式将上述文献并入本文中。为了视差估计，他们通常分析视点间的相关性，以使视差向量与实际视差相匹配。