[发明专利]使用深度图估计和更新的高效多视点编码

说明书

由于其不会以预期的任意方式进行传输，或由于纹理/图片与其深度图之间的优选编码顺序，或由于在传输或解码期间预期丢弃来自比特流的深度数据而造成的用于参考视点的当前图片的深度图的缺失可以被充分解决，以通过估计用于参考视点和从属视点的图片的深度图和使用在多视点数据流内用信号传递的运动和/或视差数据更新所述深度图来减少视点间冗余。具体地，几乎所有多视点数据流都具有其中定义的随机访问点，即，与多视点信号的视点的图片对应的时间点，在没有时间预测和事先编码图片的其他相关性的情况下，而就参考视点被关注而言仅仅使用帧内预测，和就从属视点被关注而言使用帧内预测以及基于视差的预测来编码视点。因此，在视点间预测的多视点数据流内用信号传递的视差数据被用来初始化从属视点的深度图估计，并且该主要深度图估计在多视点编码的进一步进展期间使用在多视点数据流内的运动数据和/或视差数据信号来连续更新。由此获得的不断更新的深度图估计允许以比在没有访问该深度图估计的情况下更高效的方式来执行视点间冗余减少的各种相关方法。根据另一个方面，利用以下发现：与从属视点的图片的区块的运动预测因子候选者的放大列表相关联的开销与由运动矢量候选者的添加导致的运动矢量预测质量的增益相比相对较低，其从视差补偿的意义上来说从参考视点的协同定位区块来确定。

技术领域

本发明涉及根据多视点编解码器的多视点编码。

背景技术

在多视点视频编码中，视频场景的两个或两个以上视点(其同时被多个照相机捕获)被编码在单个的比特流中。多视点视频编码的主要目的是通过提供3-d观看印象为终端用户提供先进的多媒体体验。如果两个视点被编码，则两个重构的视频序列可以被显示在(利用眼镜)传统的立体显示器上。然而，需要使用传统立体显示器的眼镜对用户来说经常是令人厌烦的。能够在没有眼镜的情况下有高质量立体观看印象是当前在研发方面的一个重要主题。用于这些自由立体显示器的有前景的技术基于柱状透镜系统。原则上，圆柱形透镜阵列以视频场景的多个视点同时显示的方式被安装在传统显示器上。每个视点在小圆锥中显示，使得用户的每只眼睛都可以看见不同的图像。这种效果在没有特殊眼镜的情况下产生了立体印象。然而，这些自由立体显示器通常需要相同视频场景的10-30个视点(如果进一步改善技术，则会需要甚至更多的视点)。超过2个视点也可以用于为用户提供交互式地选择视频场景的视角的可能性。但是视频场景的多个视点的编码与传统单视点(2-d)视频相比大大增加了所需比特率。通常，所需比特率利用编码视点的数量增加了近似线性的路径。用于减少自由立体显示器的传输数据的量的构思由仅传输少量视点(可能2-5个视点)，但额外传输所谓的深度图组成，该深度图表示一个或多个视点的图像样本的深度(真实世界的物体到照相机的距离)。考虑到少量具有相对应深度图的编码视点，可以通过合适的渲染技术在接收器侧创建高质量中间视点(存在于编码视点之间的虚拟视点)以及在一定程度上至照相机阵列的一个或两个端部的额外的视点。

对于立体视频编码和一般的多视点视频编码(具有或不具有深度图)这两者来说，重要的是利用不同视点之间的相互依赖性。由于所有视点都表示相同的视频场景(从稍微不同的角度来说)，故在多个视点之间存在大量的相互依赖性。用于设计高效多视点视频编码系统的目的有效地利用了这些相互依赖性。在针对多视点视频编码的传统途径中，例如如与ITU-T Rec.H.264|ISO/IEC14496-10的多视点视频编码(MVC)扩展一样，只有利用视点相互依赖性的技术才是来自已编码的视点的图像样本的视差补偿预测，其概念上类似于在传统2-d视频编码中使用的运动补偿预测。然而，通常只有从已编码的视点中预测小的图像样本子集，因为时间上的运动补偿预测常常更有效(两个时间上连续的图像之间的相似度在同一时间点大于相邻视点之间的相似度)。为了进一步改善多视点视频编码的有效性，需要将高效的运动补偿预测与视点间预测技术相组合。一种可能是重新使用在一个视点中编码的运动数据以预测其他视点的运动数据。由于所有视点都表示相同的视频场景，故在一个视点中的运动基于真实世界的场景的几何形状连接至其他视点中的运动，其可以通过深度图和一些照相机参数来表示。