[发明专利]基于子图像码流视角相关视频编码中的误差抑制的文件格式指示

说明书

本发明公开了一种视角相关视频编码的视频编码机制。所述机制包括将球形视频信号映射到多个子图像视频信号中，所述球形视频信号由多方向视频信号拼接，每个子图像视频信号包括子图像序列。可以将所述多个子图像视频信号编码为多个子图像码流。所述多个子图像码流组成多个子图像轨迹，符合用于重构所述球形视频信号的多码流合并功能。在所述子图像轨迹的轨迹级盒子中对轨迹级可合并指示进行编码，所述轨迹级可合并指示表示所述子图像轨迹兼容用于重构所述球形视频信号的多码流合并功能。向解码器发送包括子图像码流集的子图像轨迹集和所述轨迹级可合并指示，以支持解码和显示虚拟现实视频视角。

相关申请案的交叉参考

本专利申请案要求Ye-Kui Wang等人于2018年4月3日递交的发明名称为“将多个子图像视频码流轻量级重写为一个视频码流的约束条件(Constraints For LightweightRewriting Of Multiple Sub-Picture Video Bitstreams Into One Video Bitstream)”的第62/651,821号美国临时专利申请案的权益，其内容以引用的方式并入本文本中。

技术领域

本发明大体上涉及虚拟现实(virtual reality，VR)视频编码，并且具体涉及将VR图像码流编码为多个子图像码流以支持视角相关视频编码时的误差预防机制的指示。

背景技术

当数据要在带宽容量有限的通信网络中发送或以其它方式传输时，可能会比较困难，因为即使在视频较短的情况下也需要对大量视频数据进行描述。因此，视频数据通常要先压缩，然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，在目的地侧视频解压缩设备接收压缩的数据。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。

发明内容

在一个实施例中，本发明包括一种在视频编码设备中实现的方法。所述方法包括：所述处理器将球形视频信号映射到多个子图像视频信号中，所述球形视频信号由多方向视频信号拼接，每个子图像视频信号包括子图像序列。所述方法还包括：所述处理器将所述多个子图像视频信号编码为多个子图像码流，所述处理器将所述多个子图像码流组成为多个子图像轨迹，符合用于重构所述球形视频信号或其一部分的多码流合并功能。所述方法还包括：所述处理器在每个所述子图像轨迹的轨迹级盒子中对一个或多个轨迹级可合并指示进行编码，所述轨迹级可合并指示表示所述子图像轨迹兼容用于重构所述球形视频信号或其一部分的所述多码流合并功能。所述方法还包括：所述视频编码设备的发送器向解码器发送包括所述多个子图像码流集的所述多个子图像轨迹集和所述轨迹级可合并指示，以支持解码和显示虚拟现实视频视角。可以将一个虚拟现实(virtual reality，VR)图像流划分成多个子图像流，以选择性地传输给用户。在帧间预测期间，可以限制所述子图像流为完全自参考和时间同步，以防止某些流缺失或以不同分辨率发送时产生解码误差。这有助于所述流在解码器中通过轻量级合并过程进行合并。本实施例使用轨迹级指示(例如，国际标准组织基本媒体文件格式(International Standards Organization Base Media FileFormat，ISOBMFF)电影盒子中的任何盒子)向所述解码器指示各种子图像码流轨迹符合所述轻量级合并过程。相应地，不需要改变块级编码结果的情况下，所述轻量级合并过程可以通过使用标头信息在解码器中合并所述子图像码流，以考虑由于跨越子图像流边界的运动矢量而发生的预测间相关伪影。

可选地，根据任一上述方面，在所述方面的另一种实现方式中，当每个子图像轨迹适合与其它子图像轨迹进行合并，以使用不会改变块级编码结果的轻量级码流重写过程生成一个视频码流时，所述子图像轨迹兼容用于重构所述球形视频信号的所述多码流合并功能。