[发明专利]三维视频序列辅助信息的解码方法、编码方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种三维视频序列辅助信息的解码方法、编码方法及装置。

背景技术

三维视频（3D video）序列包括多路（通常为2路）视频序列（对应于纹理信息）和对应的深度（depth）序列（对应于深度信息），通常也被称为MVD（Multi-View Video Plus Depth）格式。三维视频通过视点合成(view synthesis)技术产生虚拟视点视频序列。传统的双目立体视频（Stereoscopic Video）仅由两个固定视点（即左视点和右视点）的视频序列构成，也称为一个立体视频对（Sereos pair）。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看（Stereoscopic Viewing）。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对，这里称其为立体视频对。

虚拟视点视频序列通过视点合成（View Synthesis）技术产生，所谓的视点合成主要采用的是深度和图像渲染（Depth-Image-Based Rendering，简称DIBR）技术，即，将一个摄像机视点（Camera View）图像的像素通过其对应的深度值和相应的摄像机参数，投影到另一虚拟视点(Virtual View)上，从而生成投影图像；然后，再通过空洞填充（Hole Filling）、滤波（filtering）、变采样（resampling）等处理产生最终用于显示的虚拟视点视频序列。视点合成中投影可采用整像素精度，即投影图像和摄像机视点图像的分辨率相同，也可以采用1/N（N为正整数）亚像素精度，即投影图像水平方向的分辨率为摄像机视点图像的N倍，其中，N通常为2的倍数。一般来说，采用亚像素投影精度比采用整像素投影精度可以获得更高质量的虚拟视点视频序列，但计算复杂度也更高。

三维视频序列包含若干个访问单元（access unit），一个访问单元包括多个（两个或多于两个）视点的某一时刻的图像（对应于纹理信息）及其对应的深度（对应于深度信息）。编码三维视频序列形成三维视频码流（bitstream），所谓的码流是由多个二进制比特组成的。编码方法可以为基于MPEG-2、H.264/AVC、HEVC、AVS、VC-1等视频编码标准的编码方法。需要说明的是，视频编码标准规定了码流的语法（syntax）和对符合编码标准的码流的解码方法，并不规定产生码流的编码方法，但是采用的编码方法必须和标准规定的解码方法相匹配，形成符合编码标准的码流，这样解码器才可以完成对这些码流的解码，否则解码过程可能会出错。解码得到的图像称为解码（decoded）图像或者重建（reconstructed）图像。

视频编码标准还规定了一些对解码视频图像而言非必需的语法单元，其对应的信息可以指示如何将解码的图像用于显示，或如何辅助视频解码等，这些语法单元例如H.264/AVC标准中的补充增强信息（Supplemental Enhancement Information，简称SEI，参见H.264/AVC标准文档7.3节），视频可用信息（Video Usability Information，简称VUI，参见H.264/AVC标准文档7.3节），子集序列参数集（Subset Sequence Parameter Set，简称subset SPS，参见H.264/AVC标准文档7.3节）中的MVC VUI parameters extension（参见H.264/AVC标准文档Annex H）等语法单元；还包括其它视频编码标准中的具有类似功能的语法单元。一个语法单元为一段码流，包含一组语法元素（Syntax Element），这些语法元素按照由视频编码标准规定的次序排列。语法元素对应的码字连接起来，组成码流。

为了支持虚拟视合成，三维视频序列码流中还可能包括各个视点的摄像机参数信息，例如每个视点的焦距、坐标位置等。通常三维视频序列的各个视点对应于平行摄像机排列结构（例如MPEG 3DV小组采用的测试序列），即所有视点的光轴相互平行且光心排列在一条直线上。