[发明专利]具有非对称下采样和机器学习的用于沉浸式视频的编码方案

说明书

提供了对沉浸式视频进行编码和解码的方法。在编码方法中，包括多个源视图的源视频数据被编码到视频比特流中。在编码之前对源视图中的至少一个进行下采样。与视频流相关联的元数据比特流包括描述下采样的配置的元数据，以帮助解码器对视频比特流进行解码。据信，与基于块的编码方法相比，下采样视图的使用可以有助于减少编码伪影。还提供了用于沉浸式视频的编码器和解码器、以及沉浸式视频比特流。

技术领域

本发明涉及视频编码。具体而言，本发明涉及用于对沉浸式视频进行编码和解码的方法和装置。

背景技术

沉浸式视频(也称为六自由度(6DoF)视频)是三维(3D)场景的视频，其允许针对在位置和取向上改变的视点重建场景的视图。它代表了允许针对具有任意取向的视点但是仅在空间中的固定点处重建视图的三自由度(3DoF)视频的发展。在3DoF中，自由度是角度的，即俯仰、滚转和偏航。3DoF视频支持头部旋转-换句话说，消费视频内容的用户可以在场景中的任何方向上观看，但是不能移动到场景中的不同位置。6DoF视频支持头部旋转，并且另外支持场景中的位置(场景是从所述位置观看的)的选择。

为了生成6DoF视频，需要多个相机来记录场景。每个相机生成图像数据(在此背景下，通常称为纹理数据)和对应的深度数据。对于每个像素，深度数据表示由给定相机观察对应图像像素数据的深度。多个相机中的每个相机提供场景的相应视图。在许多应用中，发送所有视图的所有纹理数据和深度数据可能不现实的或不高效的。

为了减少视图之间的冗余，已经提出了针对视频流的每个帧修剪视图并将它们打包到“纹理图库”中。这种方法试图减少或消除多个视图之间的交叠部分，并且从而改善效率。在修剪之后保留的不同视图的非交叠部分可以被称为“块”。在Alvaro Collet等人的“High-quality streamable free-viewpoint video”(ACM Trans.Graphics(SIGGRAPH),34(4),2015)中描述了这种方法的示例。

发明内容

将希望改善沉浸式视频的质量和编码效率。如上所述，使用修剪来产生纹理图库的方法具有以下问题：块边缘可能在解码之后渲染的重建视图中引起可见伪影。当块边缘不与内容中的自然边缘对齐时，尤其是这种情况，例如，如果块被选择为是矩形的。矩形块可以产生Z字形边界作为解码输出中的可见伪影。对于这些编码方法，镜面高光可能引起特别的困难，因为即使对象的位置没有改变，高光的位置也随着每个视图而变化。如果对象的视图是从取自多个视图的多个块重建的，那么视图之间的变化可能在高光附近是特别突出的。这在解码输出中可能是可见的。

本发明由权利要求进行限定。

根据依据本发明的一个方面的示例，提供了一种对沉浸式视频进行编码的方法，所述方法包括：

接收源视频数据，所述源视频数据包括多个源视图，每个源视图包括纹理数据和深度数据；

处理所述源视频数据以生成经处理的源视频数据，所述处理包括对所述源视图中的一个或多个进行下采样；以及

对所述经处理的源视频数据进行编码以生成视频比特流和元数据比特流，

其中，所述视频比特流包括编码的纹理数据和编码的深度数据，并且所述元数据比特流包括用于辅助解码器对所述视频比特流进行解码的元数据，其中，所述元数据描述在所述一个或多个源视图上执行的处理的配置。

根据该方法的实施例，可以避免修剪视图并生成块的需要。代替修剪源视图并将源视图转换为块，每个源视图可以被整体编码——但是其中，源视图中的一个或多个源视图被下采样以减少冗余，并且因此降低数据速率。

纹理数据可至少包括明度(即，亮度或强度)信息。它还可以包括色度(即，颜色)信息。深度数据可以包括归一化深度数据，例如包括计算为1/Z的归一化深度值，其中，Z是距预定参考点或参考平面的深度。在每个视图中，纹理数据和/或深度数据可以包括像素的2D阵列。