[发明专利]三维视频编码中视图间运动矢量预测和视差矢量预测的方法和装置

说明书

相关申请的交叉引用

本发明要求2012年7月3日递交的PCT/CN2012/078103，发明名称为“Methods to improve and simplify inter-view motion vector prediction and disparity vector prediction”的PCT专利申请案，且将上述PCT专利申请案作为参考。

技术领域

本发明有关于三维(three-dimensional，3D)视频编码，且尤其有关于在3D视频编码中视图间(inter-view)候选的运动矢量(Motion Vector，MV)预测和视差矢量(Disparity Vector，DV)预测的获取。

背景技术

近些年3D电视(television，TV)已成为技术潮流，其可带给观看者非常好的观看体验。已开发多种技术以用于3D观看，其中，多视图(multi-view)视频尤其是用于3DTV的一种关键技术。传统视频为二维(two-dimensional，2D)媒体，只能提供观看者摄像机角度的一场景的单一视图。然而，多视图视频可提供动态场景的任意视点(viewpoint)，并提供给观看者真实的感觉。

多视图视频通常通过同时采用多个相机捕捉一场景而建立，其中多个相机被适当放置，使得每个相机可从一个视点捕捉该场景。相应地，多个相机将捕捉对应于多个视图的多个视频序列(video sequence)。为了提供更多的视图，已采用更多的相机来产生具有与视图有关的大量视频序列的多视图视频。相应地，多视图视频需要大存储空间进行存储以及/或者高带宽进行传输。因此，本技术领域中已发展了多视图视频编码技术，以减少所需的存储空间或者所需的传输带宽。

一种直接的方法是对每个单一视图视频序列独立地应用传统视频编码技术而忽略不同视图之间的任何关联(correlation)。举例来说，图1显示了基于传统视频编码的3D视频编码的简单实现，其中符合标准视频编码器(standard conforming video coder)被用于基础视图(base-view)视频，其中符合标准视频编码器如高效率视频编码(High Efficiency Video Coding，HEVC)/H.264。输入的3D视频数据包括对应于多个视图的图片(110-0,110-1,110-2,…)。为每个视图收集的图片形成对应视图的图片序列。通常，对应于基础视图(也被称为独立视图)的图片序列110-0通过视频编码器130-0独立编码，其中视频编码器130-0符合如H.264/高级视频编码(Advanced Video Coding，AVC)或HEVC的视频编码标准。用于与依赖视图(即视图1,2,…)有关的图片序列的视频编码器(130-1,130-2,…)也可基于传统视频编码器。

为了支持交互应用，与场景有关的每个视图上的深度地图(120-0,120-1,120-2,…)也包含在视频比特流(bitstream)中。如图1所示，为了减少与深度地图有关的数据，深度地图各自通过深度地图编码器(140-0,140-1,140-2,…)进行压缩，且已压缩深度地图数据包含在比特流中。多工器(multiplexer)150用来将来自图片编码器和深度地图编码器的已压缩数据进行组合。深度信息可用来在已选中间视点处合成虚拟视图。如图1所示的3D视频编码系统概念简单且直接，然而压缩效率较低。

本领域已公开了多种改进3D视频编码的编码效率的技术，也存在开发活动对这些编码技术标准化。举例来说，一工作组，国际标准化组织(International Standard Organization，ISO)内的ISO/IEC JTC1/SC29/WG11正在开发基于3D视频编码的HEVC。在基于3D视频编码的HEVC版本3.1(HEVC based 3D video coding Version3.1，HTM3.1)的参考软件中，视图间候选被添加为MV/DV候选，用于帧间(inter)、合并(merge)和跳跃(skip)模式，其中视图间候选是基于相邻视图的先前已编码运动信息。在HTM3.1中，被称为编码单元(Coding Unit，CU)的压缩的基本单位为2Nx2N方形块。每个CU可被递归地分成4个更小的CU，直到达到预定(predefined)最小尺寸。每个CU包括一个或多个预测单元(Prediction Unit，PU)。在本文件的其余部分中，当基础进程与预测有关时，采用的术语“块”等于PU。