[发明专利]用于实现低复杂度多视点视频编码的系统和方法

说明书

技术领域

本发明总体上涉及视频编码。更具体地，本发明涉及支持在解码处理和缓冲器需求方面具有最小化复杂度级别的多视点视频编码。

背景技术

本部分旨在对权利要求书中记载的本发明提供背景或上下文。此处的描述可以包括能够被探究的构思，但未必是那些之前已经想到或者探究的构思。因此，除非在此明确指出外，否则本部分提及的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认其为现有技术。

在多视点视频编码中，将来自不同照相机的视频序列输出编码到一个比特流中，其中每个来自不同照相机的视频序列输出对应于场景的不同视点。在解码之后，为了显示特定视点，对属于该视点的已解码图片进行重建和显示。还可以对不止一个视点进行重建和显示。

多视点视频编码具有多种多样的应用，包括自由视点视频/电视、三维(3D)TV和监视应用。目前，国际标准化组织(ISO)/国际工程联盟(IEC)运动图像专家组(MPEG)和国际电信联盟(ITU)-T视频编码专家组的联合视频团队(JVT)正在努力开发多视点视频编码(MVC)标准，其正在变成ITU-T H.264标准的扩展，也称作ISO/IEC MPEG-4Part-10。这些草案标准在此分别称为MVC和AVC。MVC标准的最新草案在2006年7月澳大利亚克拉根福的第20次JVT会议的JVT-T208，“Joint Multiview Video Model(联合多视点视频模型)(JMVM)”中描述，其可以在ftp3.itu.ch/av-arch/jvt-site/2006_07_Klagenfurt/JVT-T208.zip处找到，在此通过引用并入其全部内容。

在JMVM 1.0中，对于每个图片组(GOP)，任何视点的图片在解码顺序上是连续的。这在图1中描述，其中水平方向表示时间(每个时刻由Tm表示)，而垂直方向表示视点(每个视点由Sn表示)。将每个视点的图片分组到GOP中，例如在图1中，针对每个视点的图片T1到T8形成GOP。这种解码顺序布置称为视点优先(view-first)编码。应当注意，对于在一个视点中且在一个GOP中的图片，尽管其解码顺序是连续的，并且没有任何其他图片插入到任何两个图片之间，但是其内部解码顺序可以改变。

还可以具有与针对视点优先编码所讨论的解码顺序不同的解码顺序。例如，可以这样来布置图片，使得任意时间位置的图片在解码顺序上是连续的。该布置在图2中示出。这种解码顺序布置称为时间优先编码。还应当注意，列(T0、T1等)的解码顺序可以不同于时间顺序。

图3中示出了用于多视点视频编码的典型预测结构(包括每个视点内的图片间预测和视点间预测二者)，其中预测由箭头表示，箭头指向的(pointed-to)对象使用箭尾的(pointed-from)对象作为预测参考。对于共享相同序列参数集(SPS)的视点而言，JMVM 1.0在MVC SPS扩展中提供了视点之间的依赖性。

按照JMVM 1.0，给定MVC比特流，对于将要显示的任何视点，该视点的图片以及该视点直接或者间接依赖的所有其他视点的图片必须完全地解码和重建。在这种情况下，“视点A直接依赖于视点B”表示：视点B中的至少一个图片被视点A中的图片用于视点间预测。如果“视点A间接依赖于视点C”，这表示：尽管视点A中的任何图片都没有将视点C中的图片用于视点间预测，但是视点A无法在没有视点C的情况下正确解码。例如，如果视点A直接依赖于视点B，而视点B直接依赖于视点C，则视点A间接依赖于视点C。这种关系导致极大的解码处理能力需求，其由此导致了解码器实现的高复杂度和高功耗。

除此之外，当视点数量大时，对于时间优先和视点优先编码二者，存储用于视点间预测或者时间预测的图片所需的缓冲器大小变得相当大。例如，当在时间维度和视点纬度二者中使用层级化B GOP结构(图3中的时间维度中使用的编码结构)时，对于视点优先编码而言，所需的缓冲器大小等于：

number_of_views(视点数量)+GOP_length(GOP长度)*(1+log2(number_of_views))+log2(GOP_length)

在以上等式中，“GOP_length”是以图片数目为单位的GOP长度。当“GOP_length”等于16且“number_of_views”等于17时，所需的缓冲器大小是101，其单位是已解码的帧。