[发明专利]使用画面组合并和位分配的多线程视频编码

说明书

交叉参考相关申请

本申请要求2008年11月13日提交和并入本文中的美国临时申请第61/199,180号的利益。

技术领域

本发明涉及视频编码，尤其涉及在使用GOP(画面组)合并和位分配的多个线程的GOP并行单通道视频编码器中支持HRD(假设参考解码器)相容。

背景技术

HRD相容是在实际视频流化系统中成功输送编码视频位流的必要要求，其中编码位流需要在网络上发送给远程客户机解码器，并且被解码器成功解码，以便使视频流畅播出。解码器具有不间断地从网络接收所输送视频位流的大小有限的解码缓冲区。同时，解码模块将从缓冲区中取出每个编码单元(例如，帧)的缓冲位流，并且解码和播出重构视频信号。在实际视频流化系统中，解码器缓冲区是必要的，以便吸收当今网络的信道传输速率的不可避免抖动，因此使解码视频不间断地和流畅地播出。

因此，HRD相容基本上是与满足编码视频位流的解码器缓冲区约束相同的问题。

通过在编码器上采用一组HRD参数和在编码每个帧(或一般地说，像H.264中那样的切片)时遵从采用的HRD参数，那么，所得编码位流就能够被也遵从该组相同HRD参数的任何解码器成功解码。这有助于来自视频编解码器相关行业的不同制造商的编码器和解码器之间的协作。HRD相容的重要性已经得到广泛认可，并且被标准化在最近H.264/AVC视频编码标准的附件C中。

一般说来，有关HRD或解码器缓冲区参数包括：定义众所周知漏桶模型的缓冲区大小、初始缓冲水平、和信道速率。HRD相容意味着，当将编码位流数据装入缓冲区中和为每个编码单元解码取出位流时，将不会有缓冲区溢出或下溢。因此，为了支持HRD相容，视频编码器必须：(i)在编码每个单元(例如，帧或场)之后，精确跟踪当前缓冲水平；(ii)据此，在下一个单元的编码位上导出上界和/或下界；以及(iii)确保单位的编码位不会超越边界。实际上，缓冲区约束问题是通过视频编码器的速率控制方案解决的。

在存在多个线程的GOP并行单通道视频编码器中支持HRD相容给出了要解决的挑战性问题。在这种实时视频编码系统中的常用架构下，可以通过多个编码线程同时分别编码多个GOP，并且每个GOP只能被编码一次。尽管GOP并行和单通道编码容易地显著加速编码过程，但副作用是，支持HRD相容变成一项比GOP顺序单线程编码的传统情况困难得多的任务。在GOP顺序视频编码中，当编码GOP时，所有前面的帧都已经被编码，因此，可以容易地将它们的编码位用于精确跟踪当前缓冲水平，和导出用于HRD相容编码的正确边界。但是，在GOP并行编码的情况下，当一个线程打算编码当前GOP时，它前面的一些GOP可能仍然处在被一些其它线程编码之中。这种情况例示在图1中，其中阴影区代表GOP中的已编码部分。对于那些GOP，当编码当前GOP时，还不知道其确切编码位，这使HRD相容编码变得不可能。

一般说来，在多通道系统中，必须让每个GOP精确消耗在它的实际编码之前分配给它的所有预算位。那样，对于那些部分编码的GOP，只能假定它们的分配位就是它们的最终编码位，并且使用它们跟踪缓冲区状态。但是，在单通道实时视频编码情形中，精确达到任何GOP的预分配位是速率控制的高度挑战性任务。注意，如果允许多通道编码，那么精确GOP位达到就更加容易和更加直截了当得多。在那种情况下，即使不能通过编码GOP精确达到GOP的预分配位，倘若所有GOP都是一次性编码的，也可以进行HRD相容检验。如果发现HRD冲突(即，缓冲区溢出或下溢)，编码器就可以利用新分配位重新编码出问题GOP以防止冲突。在第二通道编码之后，编码器可以再次做HRD检验等，直到没有造成HRD冲突。但是，这种HRD调整在单通道视频编码中是不可能的，其中支持HRD相容，即，精确达到GOP分配位是唯一出路。

解码器缓冲区约束或HRD相容问题长期以来被认为是在视频流化应用中为视频编码器开发实际速率控制方案的重要课题。但是，到目前为止，现有大多数努力都把重点放在GOP顺序单线程编码的情形上，其中满足缓冲区约束在实际中一般不是挑战性问题。

发明内容