[发明专利]基于深度图像渲染的多通道视频流编码器和解码器

说明书

技术领域

本发明涉及运动图像处理技术，尤其涉及一种基于深度图像渲染的多通道视频流编码器和解码器。

背景技术

电视系统经历了从黑白到彩色，从模拟到数字的演化。发展至今的二维电视系统提供给观众的是平面的影像，而三维电视系统将能够提供给观众更为接近自然视觉的观看体验。因此从二维系统到三维系统将是一个自然的，可期待的演化，是对目前二维数字电视系统的发展。

对人类视觉系统(HVS，Human Visual System)的研究表明，双眼观察同一物体时，形成的两幅图像存在视差。对人类立体视觉的形成存在两个理论：融合理论(Fusion Theory)认为如果使双眼分别观察到存在差异，并且差异局限在一定范围内的图像，通过视觉融合，人类将形成立体视觉。抑制理论(SuppressionTheory)认为人类视觉系统在形成立体视觉的过程中，立体感和立体图像整体质量取决于质量较好的单眼图像。Lew Stelmach等人设计的双重激励连续质量尺度(DSCQS，Double-Stimulus Continuous-Quality Scale)主观测试实验在一定程度上证实了这一理论。

数字视频技术随着Internet和移动通信的迅猛发展获得了日益广泛的应用，但是数字视频信息的信息量大，对传输网络的带宽要求高，所以一般将数字视频信号在存储或者传输前先进行压缩编码，以便节省存储空间和网络带宽。

形成立体视觉至少需要两个通道的数字视频，目前的自由立体显示器支持多个观众同时观看，其多个立体观看点(立体视点)要求输入多个通道的数字视频，因此一种好的编解码方法需要考虑压缩率、解码重建后的图像质量、观众的立体视觉体验等多个因素，在有限带宽的限制下，取得压缩率和立体视点图像质量的平衡。

目前对多(双)通道数字视频进行编码的方法大致可分为四类，第一类基于MPEG视频编码标准，第二类基于深度图像渲染(DIBR，Depth-Image-BasedRendering)技术，第三类基于对象编码，第四类基于三维网格技术(3D mesh)。

第一类方法基于MPEG视频编码标准。

MPEG-2的MVP(Multi-View Profile)使用时域伸缩工具(TS，TemporalScalability tool)，提供了对双通道数字视频(立体视频)编码的支持。MVP使用一种双层编码结构，将左视点通道作为基本层，右视点通道作为增强层。参见：X.Chen and A.Luthra，MPEG-2 Multi-View Profile and its application in 3DTV，in proceedings of SPIE，vol.3021，pp.212-223，1997。采用MVP进行多通道数字视频的编码，其图像帧预测结构类似于目前国际上正在研究的多视点编码标准(MVC，Muiti-view Video Coding)的图像帧预测结构，但由于MVP采用MPEG-2标准作为编码工具，其编码效率比不上目前的视频编码国际标准H.264/AVC。

2003年5月，由ITU-T和ISO/IEC的专家共同组成的联合视频小组JVT(JointVideo Team)制定了视频编码国际标准H.264/AVC。H.264采用了混合编码框架结构，采用了最小4×4的可变块运动预测、多个参考图像帧、上下文自适应的二进制算术编码等等先进技术，同MPEG-2相比，在同样图像质量的情况下，可以取得更高的压缩效率。

JVT目前正在研究制定多视点编码(MVC，Muiti-view Video Coding)国际标准。MVC利用了视点内部和不同视点之间的图像帧相关性，利用H.264/AVC进行编码压缩，由于采用时间和空间的联合预测编码，同各个视点独立编码的联播(Simulcast)相比，目前实验显示，在不同的视频内容下，时空联合编码可提高0.5dB到3dB的增益。参见：P.Merkle，A.Smolic and K.Muller，Efficientprediction structures for multiview video coding，IEEE Trans.CSVT，vol.17，no.11，pp.1461-1473，2007。