[发明专利]用于降低视频编码和解码中的延迟的方法和系统

说明书

通过约束由于视频帧的重排序导致的延迟并且通过利用伴随该视频帧的编码数据的一个或多个语法元素指示对帧重排序延迟的约束来减低视频编码和解码中的延迟的技术和工具。例如，具有视频编码器的实时通信工具设置指示对帧重排序延迟的约束的语法元素，其中对帧重排序延迟的该约束与视频序列的多个帧之间的帧间相关性一致，然后该工具输出该语法元素。具有视频解码器的对应实时通信工具接收指示对帧重排序延迟的约束的该语法元素，基于该语法元素确定对帧重排序延迟的约束，并且使用对帧重排序延迟的该约束来确定重建帧何时为输出做好准备（根据输出顺序）。

背景技术

工程师们使用压缩(也被称作源编码或信源编码)来降低数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来减少存储和传输该信息的成本。解压缩(也被称 作解码)从被压缩的形式中重建一个版本的原始信息。“编解码器”是编码器/解码器系统。

在过去的二十年中，已经采用了各种视频编解码器标准，包含H.261、H.262(MPEG-2或ISO/IEC 13818-2)、H.263和H.264(AVC或ISO/IEC 14496-10)标准和 MPEG-1(ISO/IEC 11172-2)、MPEG-4Visual(ISO/IEC 14496-2)和SMPTE 421M标准。最 近，正在开发HEVC标准。视频编解码器标准典型地定义了编码视频比特流的语法选项， 其详述了当在编码和解码中使用特定特征时该比特流中的参数。在许多情况下，视频编解码 器标准还提供了关于解码器应当执行以便在解码中获得正确结果的解码操作的详情。

压缩的基本目标是提供良好的速率失真性能。因此，针对特定的比特率，编码器试图提供最高质量的视频。或者，针对特定的质量水平/对原始视频的保真度水平，编码器试图提供最低比特率的编码视频。在实践中，根据使用的情境，对诸如编码时间、编码复杂度、编码资源、解码时间、解码复杂度、解码资源、总延时、和/或回放中的平滑度之类的 考虑也影响编码和解码期间所做出的决定。

例如，考虑诸如从存储装置回放视频、从在网络连接上流传送的编码数据回放视频，以及视频转码(从一种比特率到另一种比特率，或者从一种标准到另一种标准)之类的使用情境。在编码器端，这样的应用可以准许对时间完全不敏感的离线编码。因此，编码器可以增加编码时间并且增加编码期间使用的资源来找到最有效的方式压缩视频，并且从而改 进速率失真性能。如果在解码器端还可以接受少量的延时，那么该编码器可以例如通过采用 来自序列中更前面的各图像的图像间相关性来进一步改善速率失真性能。

另一方面，考虑诸如远程桌面会议、监控视频、视频电话和其它实时通信情境之类的使用情境。这样的应用对时间敏感。输入图像的录制与输出图像的回放之间的低延迟是性 能的一个关键因素。当适配于非实时通信的编码/解码工具被应用于实时通信情境中时，总 延迟通常高得难以接受。这些工具在编码和解码期间引入的延时可以改善常规视频回放的性 能，但是它们破坏了实时通信。

发明内容

总之，具体实施方式部分提出了用于降低视频编码和解码中的延迟的技术和工具。该技术和工具可以降低延迟以便改善实时通信中的响应性。例如，该技术和工具通过约束由于视频帧重排序导致的延迟，并且通过利用伴随用于该视频帧的编码数据的一个或多个语法元素指示对帧重排序延迟的约束来降低总延迟。

根据本文描述的技术和工具的一个方面，诸如视频编码器之类的工具、具有视频编码器的实时通信工具或其它工具设置指示对延迟的约束（例如与视频序列的多帧之间的帧间相关性一致的对帧重排序延迟的约束）的一个或多个语法元素。该工具输出该（多个）语法元素，从而促进更简单和更快速地确定按照帧的输出顺序重建帧何时为输出做好准备。