[发明专利]多层视频编码的方法和系统

说明书

本公开涉及多层视频编码的方法和系统。与视频编码有关的技术包括具有内容敏感跨层参考帧重指派的多层视频编码。

技术领域

本公开涉及多层视频编码的方法和系统。

背景技术

视频编码器压缩视频信息，以使得更多的信息可通过给定的带宽被发送或者被存储在给定的存储器空间中等等。编码器具有解码环路，该解码环路对它已经压缩的视频帧进行解码，以模仿远程解码器的操作，并且确定解码帧和原始帧之间的残差或差异，以便这种差异或残差也能被压缩并且提供给解码器，以提高解码器处解码图像的准确性和质量。编码器使用时间预测或者帧间预测(inter-prediction)，以通过使用参考帧的冗余图像数据来重建当前帧，来对当前帧解码。

许多视频编码标准使用多层帧间预测结构，其中每一层提供帧以实现不同的流媒体帧率。例如，基础层提供最慢的帧率，比如对于视频流媒体是15帧每秒(frames persecond，fps)，而中间层提供的帧与基础层的帧一起对于视频流媒体可以按30fps提供帧，并且最高层可以提供更多的帧，这些帧与较低层的帧一起对于视频流媒体可以按60fps提供帧。为了获得目标fps的视频编码和流媒体，解码器使用期望帧率的层上的帧以及仅该目标帧率层以下的那些层。对于编码器处的帧间预测，较高层的帧可以使用较低层的帧作为参考帧，但不能反过来，以维持分层结构，以便解码器不需要解码任何超过维持目标帧率所需的帧。然而，这种严格的结构可能导致图像质量的下降和带宽消耗的尖峰，这可能导致图像质量的明显下降和流媒体视频中不利且恼人的停顿。

发明内容

根据本公开的一个实施例，提供了一种视频编码的由计算机实现的方法，包括：在多个层处对帧的视频序列进行解码，以提供多个替换帧率；以及将至少一个帧从其中一个层重指派到另一个层，以使用重指派的帧作为所述多个层的至少一个其他帧的参考帧。

根据本公开的另一实施例，提供了一种视频编码的由计算机实现的系统，包括：存储器，至少存储帧的视频序列的图像数据；以及处理器电路，与所述存储器通信地耦合并且形成至少一个处理器，所述至少一个处理器被安排为通过以下方式来操作：在多个层处对视频序列的视频帧进行解码，以形成各自具有不同帧率的多个视频序列；以及将至少一个帧从其中一个层重指派到另一个层，以使用重指派的帧作为帧间预测参考帧，并且所述重指派取决于对所述至少一个帧的导致延迟的图像数据内容的检测。

根据本公开的另一实施例，提供了至少一个非暂态机器可读介质，包括多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备通过以下方式来操作：在多个层处对帧的视频序列进行解码，以提供多个替换帧率；以及将至少一个帧从其中一个层重指派到另一个层，以使用重指派的帧作为所述多个层的至少一个其他帧的参考帧。

根据本公开的另一实施例，提供了至少一种机器可读介质，包括多个指令，所述指令响应于在计算设备上被执行，使得所述计算设备执行如上所述的方法。

根据本公开的另一实施例，提供了一种设备，包括用于执行如上所述的方法的装置。

附图说明

在附图中以示例的方式而不是限制的方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，在附图之间重复附图标记以指示出对应的或相似的元素。在附图中：

图1是用于帧间预测和帧率管理的传统多层时间结构；

图2是用于帧间预测和帧率管理的另一传统多层时间结构；

图3是根据本文的至少一个实现方式的示例编码器的示意图；

图4是根据本文的至少一个实现方式的示例解码器的示意图；

图5是根据本文的至少一个实现方式的多层视频编码的示例方法；