[发明专利]用于对多视图序列进行编码和解码的方法和设备

说明书

本发明涉及一种用于对表示视频的编码数据流进行解码的方法，该视频包括至少一个第一视图和与该第一视图不同的一个第二视图，其中预先重建该第二视图的参考图像。对于称为当前块的该第一视图的当前图像的至少一个块，获得(E64)与所述当前块相关联的运动信息项，该运动信息项表示所述当前块在所述先前重建的参考图像中的位移的。基于所述第二视图的所述先前重建的参考图像和所获得的所述运动信息项，获得(E66)预测块。基于该预测块、基于该编码数据流进行解码(E650)的预测残差信息项、以及在与该第一视图相关联的第一块和与该第二视图相关联的第二块之间计算的差异信息项来重建(E68)该当前块，并且基于该编码数据流对该当前块进行解码(E67)。

技术领域

本发明总体上涉及3D图像处理的领域，并且更确切地，涉及在多视图图像序列内的自由导航的情况下对多视图图像序列的编码和解码。

背景技术

图1呈现了用于获取表示3D场景的多视图图像序列或多视图视频序列的设备的示例。这种设备包括一组相机，该组相机被定位成使得相机中的每一个获取表示场景视图的图像序列。当视图的数量较大(例如大于10)时，我们称之为超多视图图像序列。

由设备的相机中的一个获取的每一个图像序列(通常称为视图)可以在数据流中进行编码。

由设备的相机获取的该组视图或图像序列形成多视图视频或超多视图视频，其中，可以根据用户请求的视图在回放视频期间沿着视图轴和/或沿着时间轴自由地导航。这种功能也称为英文名称“Free Navigation(自由导航)”。

实际上，从最初显示的当前视图开始，可以在视频运行时根据用户请求跨当前视图的左侧或右侧的视图图像进行浏览，然后所显示的视图变为当前视图。用户可以停止视频运行并且跨与停止运行的时刻相对应的各种视图的图像进行浏览。

为了确保压缩方面的效率，视图的编码利用了同一视图的图像之间的时间相关性、以及视图间相关性。因此，为了在某一时刻解码视图，可能需要对若干视图进行编码。例如，诸如3D-HEVC标准等3D视频编码器利用时间相关性和视图间相关性以具有良好的编码效率。然而，这种标准需要对整组视图进行系统的解码。因此，这种编码器不适合于超多视图视频中的自由导航功能。

实际上，为了限制回放设备(例如平板计算机、移动电话等)的解码复杂度，有必要限制在回放期间的每个时刻要解码的视图的数量(即图像序列的数量)。

缺点在于，在编码期间，在观看时要遵循的浏览路径是未知的，因为随时间浏览视频的视图对用户来说是任意的。这对编码器和解码器施加了强大的约束。实际上，在由编码器编码的N个视图中，只有它们中的一些将显示给用户。

在限制要解码的视图数量的同时在视频中提供自由导航功能的简单解决方案在于借助于静止图像的编码器(比如JPEG、JPEG 2000)对每一个视图的每一个图像进行编码，或者应用借助于比如H.264等视频编码器的帧内编码。然而，就编码视频的比特率而言，这种解决方案是昂贵的。因此，优选使用视频编码器，该视频编码器使用每一个视图的图像的时间预测，以便具有良好的编码成本/解码复杂度折衷。

某些系统使用服务器和用户的终端之间的对话，以便预测用户将要求的视图，特别是根据沿时间轴和视图轴的用户位移。然而，此类系统需要与服务器的实时通信以及在服务器级别适配的适当资源。

从H.264视频标准中已知，对被称为“SI帧”和“SP帧”的图像进行编码，使得有可能基于与编码时使用的参考图像不同的参考图像来重建同一图像。这种技术使得可以例如在视频传输比特率适配的情况下从一个视频流转到另一个视频流。然而，这种技术不允许插入流的变化图像(除了随时间以规则间隔插入)，以免大大损害视频编码成本。因此，这种技术不适于在提供自由导航功能(即，提供在视频的任何时刻改变视图的可能性)的同时对多视图视频进行编码。

发明内容

本发明旨在改进现有技术。