[发明专利]用于将多视点信号编码到多视点数据流中的装置及方法

说明书

本发明提供一种用于将多视点信号编码到多视点数据流中的装置及方法，该装置包括如下配置的从属视点编码器：针对多视点信号的从属视点中的当前图片的至少一个区块，推导运动矢量预测因子候选者列表；针对从属视点的当前图片的至少一个区块，将指定运动矢量预测因子候选者列表的一个运动矢量预测因子候选者的索引信息插入到多视点数据流中；以及通过使用取决于所指定的运动矢量候选者的运动矢量执行从属视点的当前图片的至少一个区块的运动补偿预测来编码从属视点的当前图片的至少一个区块。

本申请为国际申请日为2012年11月9日、国际申请号为PCT/EP2012/072299、发明名称为“使用深度图估计和更新的高效多视点编码”的中国国家阶段申请的分案申请，该中国国家阶段申请的进入国家阶段日为2014年7月10日、申请号为201280066739.1、发明名称为“使用深度图估计和更新的高效多视点编码”。

技术领域

本发明涉及根据多视点编解码器的多视点编码。

背景技术

在多视点视频编码中，视频场景的两个或两个以上视点(其同时被多个照相机捕获)被编码在单个的比特流中。多视点视频编码的主要目的是通过提供3-d观看印象为终端用户提供先进的多媒体体验。如果两个视点被编码，则两个重构的视频序列可以被显示在(利用眼镜)传统的立体显示器上。然而，需要使用传统立体显示器的眼镜对用户来说经常是令人厌烦的。能够在没有眼镜的情况下有高质量立体观看印象是当前在研发方面的一个重要主题。用于这些自由立体显示器的有前景的技术基于柱状透镜系统。原则上，圆柱形透镜阵列以视频场景的多个视点同时显示的方式被安装在传统显示器上。每个视点在小圆锥中显示，使得用户的每只眼睛都可以看见不同的图像。这种效果在没有特殊眼镜的情况下产生了立体印象。然而，这些自由立体显示器通常需要相同视频场景的10-30个视点(如果进一步改善技术，则会需要甚至更多的视点)。超过2个视点也可以用于为用户提供交互式地选择视频场景的视角的可能性。但是视频场景的多个视点的编码与传统单视点(2-d)视频相比大大增加了所需比特率。通常，所需比特率利用编码视点的数量增加了近似线性的路径。用于减少自由立体显示器的传输数据的量的构思由仅传输少量视点(可能2-5个视点)，但额外传输所谓的深度图组成，该深度图表示一个或多个视点的图像样本的深度(真实世界的物体到照相机的距离)。考虑到少量具有相对应深度图的编码视点，可以通过合适的渲染技术在接收器侧创建高质量中间视点(存在于编码视点之间的虚拟视点)以及在一定程度上至照相机阵列的一个或两个端部的额外的视点。

对于立体视频编码和一般的多视点视频编码(具有或不具有深度图)这两者来说，重要的是利用不同视点之间的相互依赖性。由于所有视点都表示相同的视频场景(从稍微不同的角度来说)，故在多个视点之间存在大量的相互依赖性。用于设计高效多视点视频编码系统的目的有效地利用了这些相互依赖性。在针对多视点视频编码的传统途径中，例如如与ITU-T Rec.H.264|ISO/IEC 14496-10的多视点视频编码(MVC)扩展一样，只有利用视点相互依赖性的技术才是来自已编码的视点的图像样本的视差补偿预测，其概念上类似于在传统2-d视频编码中使用的运动补偿预测。然而，通常只有从已编码的视点中预测小的图像样本子集，因为时间上的运动补偿预测常常更有效(两个时间上连续的图像之间的相似度在同一时间点大于相邻视点之间的相似度)。为了进一步改善多视点视频编码的有效性，需要将高效的运动补偿预测与视点间预测技术相组合。一种可能是重新使用在一个视点中编码的运动数据以预测其他视点的运动数据。由于所有视点都表示相同的视频场景，故在一个视点中的运动基于真实世界的场景的几何形状连接至其他视点中的运动，其可以通过深度图和一些照相机参数来表示。