[发明专利]立体全向帧打包

说明书

使得能够进行与诸如具有等矩形投影的立体全向视频的全向视频有关的视频编码和解码的方法和设备。对于场景的立体图像，将视频图像数据进行分割、重采样和布置，以使表示两个图像的部分都可以适合于帧。随帧发送消息，以描述重采样或布置信息。在至少一个实施例中，重采样是水平进行的。在至少一个实施例中，消息在补充增强信息消息内发送。对应的操作在解码器处逆转该过程，使得能够重新创建两个立体图像。

技术领域

以下描述的方面一般涉及视频压缩领域，并且尤其涉及全向视频领域。

背景技术

近来，可用的大视场内容(高达360°)已经有了增长。用户在诸如头戴式显示器(HMD)、智能眼镜、PC屏幕、平板电脑、智能手机等沉浸式显示设备上观看内容时，可能无法完全看到这样的内容。这意味着在给定时刻，用户可能仅在观看内容的一部分。然而，典型地，用户可以通过诸如头部移动、鼠标移动、触摸屏、语音等各种方式在内容内导航。典型地，期望对该内容进行编码和解码。

发明内容

通过所描述的实施例中的至少一个，解决了现有技术的这些和其他不足和缺点，这些实施例针对用于打包立体全向视频的方法和装置，其改善了这种内容在帧打包框架中的紧凑性(compacity)，该帧打包框架包括相同编码帧中的两个(左和右)视点。

在所描述的实施例中的至少一个中，考虑到全向内容的特殊性，在帧打包的上下文中重新定义立体帧的布置，从而提高了最终压缩效率。

在至少一个实施例中，提供了一种方法。该方法包括以下步骤：在对应的时间对表示场景的至少两个视图的视频图像部分进行重采样；布置至少两个视图的重采样部分，以使得所述布置的重采样部分适合于帧；对帧进行编码，所述帧包括指示所述布置和重采样操作中的至少一个的消息。

在至少另一实施例中，提供了一种方法。该方法包括以下步骤：从比特流对视频的帧进行解码，所述帧也包括消息；从所述解码的帧中提取至少两个视图的部分；对至少两个视图的所述提取的部分进行重采样；以及将所述重采样的提取的部分布置成表示至少两个视图的视频图像，其中，所述提取、重采样和布置中的至少一个基于所述消息。

在另一实施例中，提供了一种根据前述方法中的任一种的方法，其中，对表示两个视图的图像使用水平重采样。

在另一实施例中，提供了一种根据前述方法中的任一种的方法，其中，消息位于补充增强信息消息中。

在另一实施例中，提供了一种根据前述方法中的任一种的方法，其中，消息传达关于每个视图的每个图像被划分成的部分的数量以及水平重采样比率的信息。

在另一实施例中，提供了一种装置。该装置包括存储器和处理器。处理器被配置为执行前述方法实施例的任何变型，以进行编码或解码。

根据本文描述的另一方面，提供了一种非暂时性计算机可读存储介质，包含根据前述方法实施例中任一个的方法或由前述装置实施例中任一个的装置生成的数据内容，以用于使用处理器进行回放。

根据本文描述的另一方面，提供了一种信号，包括根据用于对视频数据块进行编码的前述方法实施例中的任一个的方法或由用于对视频数据块进行编码的上述装置实施例中的任一个的装置生成的视频数据，以用于使用处理器进行回放。

根据本文描述的另一方面，提供了一种包括指令的计算机程序产品，当由计算机运行程序时，该指令使计算机执行前述方法实施例中的任一个的方法。

通过以下结合附图对示例性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得显而易见。

附图说明

图1图示了根据特定且非限制性实施例的用于对全向视频进行编码和解码的示例性系统，

图2-6图示了根据各种实施例的被配置为对沉浸式视频进行解码、处理和呈现的系统，