[发明专利]基于时域增强的视点合成预测多视点视频编码方法

说明书

技术领域

本发明涉及多视点视频编码领域，尤其涉及一种基于时域增强的视点合成预测多视点视频编码方法。

背景技术

进入二十世纪九十年代后，多媒体技术获得了迅猛发展，2D视频技术已深入到人们日常生活的各个方面，逐渐步入成熟。然而，由于人们对视频欣赏要求的日益提高，人们希望记录自然景物的视频能够更加逼真自然，随着立体显示技术的发展，立体视频满足了人们的需求。立体视频是通过模拟人的立体感觉而设计的，在科学技术高速发展的现在受到了热烈的欢迎并有着广泛应用。

从立体视频的表达形式来看，立体视频分为双目立体视频、多视点视频、多视点视频加深度视频、自由视点电视（FTV）等。立体视频与传统的单通道视频相比，要处理至少翻一倍的数据量，而对于多视点视频，通常是几倍于传统的单通道视频，所以必须采用更高效的数字压缩编码技术，才能对多视点视频数据进行有效的存储和传输。同时，随着人们对视频观看质量要求的提高，高分辨率、高清晰度是今后的趋势，这将带来视频数据量的急剧增加，仅仅依靠网络带宽的提高和存储量的提高是无法解决这个问题的，高效的数据压缩非常必要。

为了降低自由视点视频的数据量， ITU-T和MPEG的联合视频组（JVT）制订了采用视点预测机制的多视点视频编码标准(MVC)，得到了业界的广泛认可。尽管MVC的编码效率较simulcast提高了25%，编码码率依然与视点数的成比增长，随着自由视点电视技术的逐步发展，未来将无法满足自由视点电视的编码需求。为此，MPEG在2007年4月提出多视加深度的编码（MVD）形式。深度图像是用来表示场景中像素深度信息的灰度图像，可以有效表示三维场景几何信息，在解码端可以辅助生成任意视点的虚拟视图。尤其是在自由视点电视应用中，该表现形式能有效表示三维场景，降低了传输视点的个数，一定程度上节省了传输带宽，深度图像的引入为多视点视频编码提供了更广阔的空间。

多视点视频编码中，由于拍摄角度的差异，多个摄像机在拍摄同一场景时，视点之间存在几何失真，为了补偿视点间的几何失真，提高视间预测的效率，研究者们提出了基于虚拟视点合成预测的多视点视频编码方法（例如：MARTINIAN E, BEHRENS A, XIN J. View synthesis for multiview video compression[A]. 25th PCS Proceedings: Picture Coding Symposium[C]. Beijing, China, 2006；Sehoon Yea, Anthony Vetro. View synthesis prediction for multiview video coding[J]. Signal Processing: Image Communication, Vol.24, pp.89–100,2008.），利用深度图像合成一个虚拟视图用作当前编码图像的参考图像，并要求生成的虚拟视图比视点间参考图像更接近于当前编码图像， 从而提高 MVC的编码效率。然而目前的方法中，虚拟视图的合成质量不仅取决于深度信息的准确性，还极易受到视点间光照、颜色差异的影响，尤其在多视点监控场景下，不同摄像机接收光源角度不同，不同视点间的背景亮度存在差异，并且如果视点间角度差异较大的话，合成视点的对象区域边缘还会出现空洞，这些差异极大限制了基于虚拟视点合成预测多视点视频编码方法的编码效率。进一步通过实验证明，在中高码率下，对于non-anchor帧（非关键帧），当前视图待编码帧中仅有7.6%的块选择虚拟视图来进行预测，与时域预测块与视点间预测块相比，所占的比重最小。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于时域增强的视点合成预测多视点视频编码方法，提高多视点视频的编码效率。

    本发明的技术方案为一种基于时域增强的视点合成预测多视点视频编码方法，在编码当前视点待编码帧时，进行以下步骤，

步骤1，根据已编码的邻近视点在同一时刻的帧及该帧的深度图像，合成当前视点待编码帧的初始合成视点帧；

步骤2，对当前视点的已编码重建帧建立统计背景模型，得到当前视点待编码帧的背景图像；

步骤3，根据用步骤2所得当前视点待编码帧的背景图像，对步骤1所得初始合成视点图像进行区域增强，得到最终的合成视点帧；

步骤4，将步骤3所得合成视点帧加入当前视点待编码帧的参考帧列表；

步骤5，根据参考帧列表对当前视点待编码帧进行编码。