[发明专利]视频序列图像的解码和编码

说明书

技术领域

本实施例总体上涉及对视频序列图像进行解码和编码，更具体地，涉及从与解码和编码图像有关的解码图像缓冲区输出或倾倒图像。

背景技术

H.264视频压缩

H.264(动态图像专家组-4高级视频编码(MPEG-4AVC))是最新的视频编码标准。其包括利用时间和空间冗余的基于块的混合视频编码方案。H.264/AVC定义在包括很多解码处理的规范文档中，这些解码处理必须以指定顺序来执行，以使解码器符合标准。对编码器没有要求，但是一般情况下，编码器也执行大部分处理以获得良好的压缩效率。

H.264/AVC定义了存储解码后的解码图像的解码图像缓冲区(DPB)。这意味着要求解码器使用规定量的存储器以解码序列。DPB包含在解码未来图像期间用于参考的图像。这里的“用于参考”表示在解码另一个图像时使用特定图像来预测。用于参考的图像的像素值这时可用于预测当前正在解码的图像的像素值。这也称为帧间预测(Inter prediction)。DPB附加地包含等待输出的图像。这里的“输出”表示解码器将图像输出到解码器之外的功能。H.264规范说明了如何将比特流转换为解码图像然后将其输出，参见图1。输出图像可以例如被显示或写入磁盘。

DPB中的图像等待输出的一个常见原因是，将在该图像前输出的图像尚未完成解码。

图2示出了三个图像A、B和C的示例。解码顺序是压缩格式图像被馈入解码器的顺序。通常来说，这与编码器编码图像的顺序相同。图2示出了这个示例中的解码顺序为A、B和C。输出顺序是解码图像输出的顺序。输出顺序不必与解码顺序相同，如图2中示例所示出的，输出顺序为A、C、B。图中箭头示出了哪一个图像用于每一个图像的参考：图像A用于图像B和C的参考。

图2中，图像C在图像B之后解码但在其之前输出。当图像B已经解码时，其不能立即输出，因为图像C还没有解码并且必须在图像B之前输出。因此，图像B在解码后必须存储在DPB中，即使其不用于任何其他图像的参考。当解码图像C时，图像A也必须在DPB中存在，因为图像C使用图像A来参考。

通过信号通知PictureOrderCount(POC)值，控制输出顺序。在比特流中存在用于传达每个图像的POC的语法元素，并且使用这些值来定义图像的输出顺序。

为了跟踪DPB，H.264/AVC包含三个在图像解码后进行的处理：图像标记处理、图像输出处理和释放(free-up)处理。

图像标记处理将图像标记为“用于参考”或“不用于参考”。标记为“用于参考”的图像可用于参考，意味着解码顺序中后续的图像在其解码处理中可使用该图像来参考。标记为“不用于参考”的图像不可被后续图像用于参考。编码器通过比特流来控制这一处理。在H.264/AVC比特流中有一个可选语法，当其存在时指示什么图像标记为“不用于参考”。该操作一般也称为存储管理控制操作(MMCO)。如果没有可选的MMCO语法，就定义先进先出机制，也称为“滑动窗口”处理。滑动窗口处理表示：当最后解码的图像导致DPB中的图像过多时，解码顺序中最早的图像自动标记为“不用于参考”。

图像输出处理在图像标记处理之后进行，将图像标记为“需要输出”或“不需要输出”。标记为“需要输出”的图像尚未输出，而标记为“不需要输出”图像已经输出且不再等待输出。图像输出处理还输出图像。这表示该处理选择标记为“需要输出”的图像，输出它们，然后将它们标记为“不需要输出”。图像输出处理确定以什么顺序输出图像。需要注意的是，在一个具体图像解码后，图像输出处理可输出并标记零个、一个或多个图像。

在解码器调用上述两个处理后，调用释放处理。清空同时标记为“不用于参考”和“不需要输出”的图像并从DPB移除。有时这也称为释放DPB图像槽之一。

在H.264/ABC中，DPB的大小是有限的。这意味着因等待输出或使其可用于参考而能够存储的图像的数量是有限的。变量max_dec_frame_buffering表示DPB的大小，有时也称为DPB中图像槽的数量。编码器必须确保DPB的尺寸不会溢出。

以上三个处理在标准中有所说明。这意味着解码器受到编码器的控制，因此解码器在输出顺序方面没有任何自由。这完全由图像输出处理和编码器发送的比特流中的有关元素确定。图3中示出了H.264/AVC的解码步骤的简化流程图。