[发明专利]视频译码中的子图像布局指示

说明书

本发明公开了一种视频译码机制。所述机制包括：接收码流，所述码流包括从图像分割的子图像和序列参数集(sequence parameter set，SPS)，所述序列参数集包括子图像尺寸和子图像位置。解析SPS，获取所述子图像的子图像尺寸和子图像位置。根据所述子图像尺寸和所述子图像位置对所述子图像进行解码，以创建视频序列。发送用于显示的所述视频序列。

相关申请案交叉申请

本专利申请要求王业奎等人2019年1月9日递交的发明名称为“视频译码中的子图像(Sub-Pictures in Video Coding)”的第62/790,207号美国临时专利申请的权益，其全部内容以引用的方式并入本文中。

技术领域

本发明大体上涉及视频译码，具体涉及视频译码中的子图像管理。

背景技术

即使在视频较短的情况下也需要对大量视频数据进行描述，当数据要在带宽容量有限的通信网络中发送或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后在现代电信网络中发送。由于内存资源可能有限，当在存储设备上存储视频时，视频的尺寸也可能成为问题。视频压缩设备通常在源侧使用软件和/或硬件，以发送或存储之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，压缩的数据在目的地侧由解码视频数据的视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够在几乎不影响图像质量的情况下提高压缩比。

发明内容

在一个实施例中，本发明包括在解码器中实现的方法，所述方法包括：所述解码器的接收器接收码流，所述码流包括从图像分割的子图像和序列参数集(sequenceparameter set，SPS)，所述序列参数集包括所述子图像的子图像尺寸和子图像位置；所述解码器的处理器解析所述SPS，获取所述子图像尺寸和所述子图像位置；所述处理器根据所述子图像尺寸和所述子图像位置对所述子图像进行解码，以创建视频序列；所述处理器发送用于显示的所述视频序列。一些系统在图像参数集(picture parameter set，PPS)中包括分块信息和子图像信息，因为分块和子图像比图像小。然而，子图像可用于支持感兴趣区域(region of interest，ROI)应用和基于子图像的接入方案。这些应用不会根据每个图像发生改变。所公开的示例包括SPS而不是PPS中子图像的布局信息。子图像布局信息包括子图像位置和子图像尺寸。子图像位置是子图像左上样本与图像左上样本之间的偏移。子图像尺寸是以亮度样本为单位测量的子图像的高度和宽度。视频序列可以包括单个SPS(或每个视频片段一个SPS)，并且可以包括每个图像最多一个PPS。在SPS中包括子图像布局信息可以确保只针对序列/分段指示一次布局，而不是针对每个PPS都指示。相应地，在SPS中指示子图像布局提高了译码效率，因此降低了在编码器和解码器侧的网络资源利用率、内存资源利用率、和/或处理资源利用率。此外，一些系统具有由解码器推导的子图像信息。指示子图像信息丢失报文时出错的可能性，并且支持提取子图像的其它功能。因此，在SPS中指示子图像布局提高了编码器和/或解码器的功能。

可选地，在上述任一方面中，在所述方面的另一种实现方式中，所述子图像是时间运动约束子图像，其中，所述子图像尺寸和所述子图像位置表示所述时间运动约束子图像的布局。

可选地，在上述任一方面中，在所述方面的另一种实现方式中，所述方法还包括：所述处理器根据所述子图像尺寸确定所述子图像相对于显示区域(display)的尺寸。

可选地，在上述任一方面中，在所述方面的另一种实现方式中，所述方法还包括：所述处理器根据所述子图像位置确定所述子图像相对于所述显示区域(display)的位置。

可选地，在上述任一方面中，在所述方面的另一种实现方式中，所述子图像位置包括所述子图像的左上样本与所述图像的左上样本之间的偏移距离。