[发明专利]视频码流的宏块级耦合的解码和环路滤波方法和装置

说明书

技术领域

本发明涉及到视频压缩过程中采用灵活宏块排序(FMO)和任意条带顺序(ASO)技术时的解码过程，特别是涉及到视频码流的解码和环路滤波的方法和装置。

背景技术

在视频压缩标准(如H.264)中，有许多适用于基于IP的对话应用的关键技术，如多条带群(slice group)灵活宏块排序(Flexible Macroblock Ordering即FMO)和任意条带顺序(Abitrary Slice Order即ASO)。采用灵活宏块排序(FMO)技术有利于实现错误隐藏，提高视频通信网络的健壮性，在有无序(out of order)传输行为的网络中采用任意条带顺序技术能更有效地利用网络带宽，减小传输延迟。但采用灵活宏块排序(FMO)和任意条带顺序(ASO)技术也对解码过程和环路滤波(deblocking filter)的实现(特别是硬件实现)产生直接影响。

图像按宏块编码的方式：

在视频压缩标准中，一幅图像由整数个宏块(macroblock)构成，如图1所示，宏块是16×16(像素)大小的正方形区域，宏块在图像内的序号(地址)按光栅扫描的顺序编号。

如图1所示，以176×144大小的图像为例，一幅图像中共包含99((176×144)/(16×16))个宏块，宏块的序号依图1中箭头所示方向递增，这种方式即为按光栅扫描顺序编号的方式。在视频压缩标准中，编码过程和解码过程都是以宏块为单位进行的，很显然，解码后的宏块仍要按上图1所示的顺序放置才能保证解码图像的正确。

视频码流的结构和顺序描述如下：

在视频压缩标准中，原始的图像文件经过编码以后的二进制文件称为码流，码流中信息的基本组成单位是条带(slice)，条带按图2所示的分层结构组织。

在视频码流中，一幅图像的信息是由几个条带组成，每个条带包括条带头(slice header)和条带数据(slice data)两部分。其中条带头包含了该条带中所有宏块所共有的信息，而条带数据是由整数个宏块构成(如图3中包含8个宏块)，条带中的宏块放置有两种方式，分别如图3(a)和图3(b)所示。在图3(a)中，条带内的宏块序号是按自然数递增的，在图3(b)中，条带内宏块的序号经过某种映射(MAP)操作后，条带内的宏块序号不一定按自然数递增，即映射后的宏块序号i₀，i₁，  ……  i₇不一定按1的步长递增。

环路滤波：

视频压缩标准如H.264，MPEG-1，MPEG-4中，采用基于块的混合编码方法，即预测编码和变换编码相结合的方法。在编码过程中，宏块被进一步划分成更小的块，块的大小依不同的视频压缩标准而不同。为了进一步提高视频压缩的效率，可充分利用视频序列本身的特点，即相邻像素的空间相关性及相继帧之间的时间相关性。所谓空间相关性指同一幅图像中相邻像素的彩色值一般是平滑变化的，而时间相关性指视频序列的相继帧通常对应相同的物理场景，只不过其中的物体可能是移动的。预测编码充分利用了视频序列的时间相关性，当前编码图像中的图像块可在以前已经编码过的参考图像中搜索最匹配的块，这称为运动估计，当前块与匹配(预测)块对应像素的差值构成预测误差块。变换编码(如离散余弦变换)则充分利用了像素之间的空间相关性，在视频压缩标准中，变换编码被应用于预测误差块，变换编码后的系数经量化后再进行熵编码可得到进一步的压缩。在以上编码过程中，变换编码后系数的量化会产生一定的编码误差，主要以块效应的形式表现出来。为了减少编码误差，通常对编码图像采用环路滤波(也称为去块效应滤波，即deblocking filtering)的方法。环路滤波通常以宏块为单位进行，在滤波过程中要用到当前宏块的相邻的上面宏块和左面宏块的像素，如图4所示。

在图4中，当前宏块的滤波要用到宏块A和宏块B中的像素，所以当前宏块的滤波必须在宏块A和宏块B已经完成解码的前提下才能进行，这就要求解码过程按宏块光栅扫描的顺序进行。当采用多条带群灵活宏块排序(FMO)和任意条带顺序(ASO)时，如果解码过程按条带在码流中的顺序进行，不能保证按宏块光栅扫描的顺序解码，因此环路滤波只能在一幅图像的所有宏块解码结束后才能进行。