[发明专利]一种包含构造图像的视频位流的解码缓冲区管理控制方法

说明书

技术领域

本发明涉及数字媒体处理技术领域中的视频压缩和解压缩技术。尤其涉及一种使用视频位流中的构造图像信息来确定缓冲区检测的时间间隔的管理控制方法。

背景技术

数字视频信号中包含大量的统计性冗余(包括空间冗余、时间冗余和统计性冗余)，而视频压缩(也称为视频编码)是消除这些冗余的关键性技术。数字视频经过视频压缩后得到视频位流，传统的视频位流是由一幅幅拍摄的视频图像经过压缩后的位流合并起来得到的。近年来，随着视频技术的发展，在AVS、H.264/AVC，HEVC标准中，目前均支持在视频中写入构造图像的位流，解码重建的构造图像用以提高视频的压缩效率或者在位流中提供更多的信息。

一个显著的例子是使用场景建模生成背景图像，然后将该生成的背景图像写入位流(黄铁军，张贤国，梁路宏，黄倩，高文.一种基于背景建模的静态摄像机视频压缩方法与系统.ZL201010034117.3)。在该方法中，生成的背景图像可以用于对后续图像进行预测编码，而且，此背景图像可以反映视频中的场景信息。

值得关注的是，虽然上述方法可以降低码率，但包含构造图像的位流如果没有限定合适的解码方法，会产生一系列的问题，如延迟累计，播放停顿，位流解码缓冲区溢出等等。下面对上述现象解释其原因。

对于如传统的MPEG2的视频位流，由于位流解码缓冲区按照标准规定的“两帧时间间隔＝帧率的倒数的倍数”将位流从缓冲区移出(解晓东，吴迪，贾惠柱，生滨，郑俊浩，张鹏，邓磊，张力，张帧睿，王忠立，高文.视频解码缓冲区控制装置及方法200410070028.9；Crinon，Regis J.，Timing for decoder buffer examination，US20060104356)，而位流中又存在若干幅原来不存在的构造图像。因而，如果不修改标准并且编码所有拍摄图像，编码器生成并编码一帧构造图像帧后，会导致缓冲区位流的移出时间大于编码端摄像机拍摄数据的输入时间，进而引起解码器、播放器在解码播放改位流时产生延迟累积。

若要保证播放器不产生延迟累积，如果不修改目前的标准，则只能修改编码器，对拍摄的图像在产生构造图像帧处丢弃一帧原始拍摄图像。于是，在规定的时间T内，信源输入的帧数为“时间×帧率”，而编码器只编码了“时间×帧率-1”帧原始图像，以及1帧构造图像，此时虽然不产生延迟累计，但编码器丢弃了一帧原始图像。而且，即便编码器如此修改，由于引入的构造图像帧符合现有标准，使得它前一帧和后一帧之间的缓冲区检测以及位流移出时间间隔放大，也可能会导致解码器在解码播放时画面显示不流畅，有停顿现象。

H.264/AVC针对这一问题，引入了扩展的语法元素(SEI)和参考解码器(HRD)，(Hsi-Jung Wu，Barlin Geroffry Haskell，Shi Xiaojin，Hypothetical reference decoder，Us20090180545)。SEI和HRD约束了每一帧图像的移入时间和移出时间，进而保证了在视频位流中包含构造图像时.解码器在解码播放时不会产生延迟累计等现象。

但是首先，引入SEI语法元素会导致视频流的大小变大，压缩效率降低，其次，复杂的HRD控制方式会导致解码复杂度提升。因而，寻找一种更合适的位流解码缓冲区管理方法，尤其是缓冲区检测和移出时间的计算方法，就是视频标准在制定过程中的一个难题。

发明内容

针对上述现有技术的不足，本发明为了解决上述问题，实现更好的无延迟累计的实时编码和实时解码、实时播放效果，本发明提供一种包含构造图像的视频位流的解码缓冲区管理控制方法，所述方法通过解码构造图像标识，进而修改造图像帧与其前后若干帧的位流移出和缓冲区检测时间间隔。这种方法下，位流参考解码器既不会因为编码器多编码了一个构造图像而发生溢出，也不会因为缓冲区移出位流速度小于移入速率产生延迟累计，更不会需要编码器对输入的拍摄图像进行丢帧操作。

本发明的技术方案是：一种包含构造图像的视频位流解码缓冲区管理方法，其特征在于：根据解码出的表示是否为构造图像的标识参数，来确定缓冲区检测和数据移出的时间间隔或具体时刻，进而计算位流移入缓冲区的速率或具体时刻。

进一步地，本发明所述的一种包含构造图像的视频位流的解码缓冲区管理控制方法，其特征在于：管理控制步骤包括：

a)构造图像参数解码，对视频位流中标识为构造图像的图像进行部分解码，得到其参数，根据该参数判定此图像是否为构造图像。