[发明专利]三维视频、多视图视频及可缩放视频的编码方法及装置

说明书

相关申请的交叉引用

本申请的权利要求范围要求如下申请的优先权：2012年10月3日递交的申请号为61/744,858，标题为“Motion Data Storage Reduction(MDSR)for Video Coding”的美国临时案。在此合并参考上述美国临时申请案的全部内容。

技术领域

本发明有关于三维视频编码。更具体地，本发明有关于三维视频编码中运动数据的缓存减少。

背景技术

近年来三维电视已成为技术趋势，其目标在于为观众带来更真实的观看体验。目前已开发各种技术用以致能3D立体视图。且与其他技术相比，多视图(multi-view)视频为3D电视应用的主要技术。传统视频为二维(two-dimensional，2D)媒介，其从摄影机的角度向观众提供场景的单一视图。然而，多视图视频可提供动态场景的任意视点(viewpoint)且为观众提供真实的感官。

通常通过使用多个摄像机同时捕捉场景(scene)而建立多视图视频，其中，适当地放置多个摄像机以使每个摄像机从一个视点捕捉场景。相应地，多个摄相机将捕捉对应于多个视图的多个视频序列(video sequence)。为了提供更多的视图，已使用更多的摄相机以产生多视图视频，其中该多视图视频具有相应于视图的大量视频序列。相应地，多视图视频需要大量的存储空间进行存储及/或高的带宽进行传输。因此，技术领域中已发展了多视图视频编码技术以减少存储空间或传输带宽。

本领域已揭露各种技术以改进3D视频编码的编码效率。也具有发展活动以标准化(standardize)编码技术。例如，国际标准组织(International Organization for Standardization，ISO)内的工作组ISO/IEC JTC1/SC29/WG11正在开发基于3D视频编码标准的高效视频编码(High Efficiency Video Coding，HEVC)。在HEVC中，时间运动参数(例如，运动矢量(MV)、参考索引及预测模式)的运动信息可用于MV预测。因此，来自先前图像的运动参数需要存储在运动参数缓存区中。然而，由于运动表示(representation)的粒度为4×4区块大小，运动参数缓存区的大小会变得相当大。对于B片(双向预测(bi-predicted)片)中的每个预测单元(prediction unit，PU)具有两个运动矢量。为了减少运动参数缓存区的大小，使用名为运动数据存储减少(motion data storage reduction，MDSR)的运动压缩过程来以较低分辨率(resolution)从先前图像中存储解码的运动信息。在编码或解码过程中，使用相应于当前帧的解码运动信息以重建当前帧。在重建当前帧之后，以较粗的粒度存储运动信息以用于其他帧参考。

在HEVC中，通过抽取(decimation)方法实现运动信息缓存的减少。图1为基于抽取的运动数据存储减少的示例示意图。在此示例中，对每个16×16区块进行运动数据压缩。16×16区块内部的所有4×4区块共享代表区块的相同运动矢量、参考图像指数(indice)及预测模式。在HEVC标准中，使用左上4×4区块(即区块0)作为代表区块用于整个16×16区块。为了方便，在此揭露书中，由于16×16区块内部的所有最小区块共享相同的运动参数，将每个16×16区块称为运动共享区域。尽管在HEVC标准中使用16×16的区块大小，运动共享区域可具有其他区块大小。

在世界编码标准发展中，三维视频编码和可缩放视频编码为传统二维HEVC视频编码标准的两种可能扩展。图2为基于HEVC 3D视频编码版本4.0(HTM-4.0)使用的示例预测结构示意图。以视图标识(视图ID)指示对应于特定摄像机的视频图像(210A)和深度图像(depth map)(210B)。例如，相应于三个视图(即V0、V1及V2)的视频图像和深度图如图2所示。属于同一摄像机位置的所有视频图像和深度度都相应于同一视图ID。如图2所示，当存在时，视频图像和深度图被逐个存取单元(access unit，AU)地编码。AU(220)包括对应于同一时刻的所有视频图像和深度图。在HTM-4.0中，在对同一AU内部的所有图像(纹理和深度图像)编码之后，对每个图像执行运动数据压缩。在此情形中，对于每个AU,AU内部图像的重建过程可依赖相应于当前AU的全分辨率(full-resolution)运动数据。运动数据压缩仅影响参照相应于当前AU的压缩运动数据的其他AU的重建过程。