[发明专利]用于改进的运动补偿的方法与装置

说明书

本发明一般地涉及视频编码，尤其涉及在视频编码中使用位移矢量场。

在通信领域中，数字视频压缩到极低比特率(VLBR)是一个非常重要的问题。VLBR一般被视为不超过每秒64K比特(Kbps)，且涉及现行的个人通信设备，诸如公用电话转接网和蜂窝系统。为了在这些系统上提供象视频点播和会议电视这类业务，将需要将包含在数字视频序列中的信息压缩1至300倍。为了达到如此大的压缩比，需要去除一个视频序列中存在的所有冗余。

现行的标准如H.261、MPEG1和MPEG2通过利用块运动补偿离散余弦变换(DCT)方法提供数字视频序列压缩。这一视频编码技术通过利用两步骤过程去除视频序列中存在的冗余。第一步中，一个块匹配(BM)运动估计和补偿算法估计发生在时间上邻接的两个帧之间的运动，然后这些帧被补偿以估计的运动并进行比较，以形成一个差值。通过取两时间上邻接的帧之间的差，所有现存的时间冗余度被去除。保留的唯一的信息是在运动估计和补偿算法中不能被补偿的新信息。

第二步中，利用DCT将这一新信息变换到频域，DCT具有将这一新信息的能量压缩成为几个低频分量的特性。进一步，通过限制已编码的高频信息的数量获得视频序列的压缩。

通过这种方法提供给视频编码的大部分压缩，是通过运动估计和补偿算法获得的。就是说，与传送关于亮度和色彩的信息相对，传送考虑存在于视频序列中的运动的信息将更为有效。该运动信息用矢量表示，这些矢量从当前亮度帧中的特定位置指向起源于先前亮度帧的相同位置。对于BM，这些位置是预先确定的尺寸相等的非重叠块，包含在这些块中的所有象元都被假定具有相同的运动。通过在时间上邻接的先前帧中预先确定的搜索区域内搜索，找到与视频序列的当前帧中特定块相关联的运动矢量，作为最佳匹配。这一最佳匹配通常用两个块之间的均方误差(MSE)或平均绝对误差(MAD)确定，该运动矢量从当前帧中的块中心指向先前帧中提供最佳匹配的块中心。

利用估计的运动矢量，先前帧的一个副本通过每个矢量被改变，以产生当前帧的一个预测，该运算被称为运动补偿。如前所述，将该预测帧从当前帧中减去，产生一个差值帧，它通过DCT被变换到空间频域。这些空间频率系数被量化和熵编码，提供原始视频序列的进一步压缩。运动矢量和DCT系数均被传送至解码器，在那里执行逆运算以产生解码的视频序列。

如上所述，在从一个视频序列中去除时间冗余或时间相关方面，运动补偿是非常有效的。然而，在视频序列中存在一些没有时间相关的区域，这些区域是由于新物体进入或离开该视频景象而导致的，它们也可以是视频序列内运动物体遮挡和露出其它物体的结果。如果将运动补偿应用于这些区域以去除时间冗余，通常将导致视频编码器的压缩效率的显著降低。这种压缩效率的降低是在差值生成期间引起的，因为在这些特定区域运动补偿失败，将导致DFD信号能量的大的增加。在这些区域的能量通常比当前帧中所包含的能量大。这一问题阻止视频到作为目标的VLBR的编码。

图1是根据本发明的用于改进的运动补偿之系统的一个最佳实施方式图。

图2是根据本发明的运动补偿失效检测单元的一个最佳实施方式图。

图3是根据本发明的失效区域边界编码单元的一个最佳实施方式图。

图4是根据本发明的关于可能的编码方向的第一示例图。

图5是根据本发明的关于可能的编码方向的第二示例图。

图6是根据本发明的用于改进的运动补偿之方法的步骤的一个最佳实施方式流程图。

图7是根据本发明的用于运动补偿失效检测之方法的步骤的一个最佳实施方式流程图。

图8是根据本发明的用于失效区域边界编码之方法的步骤的一个最佳实施方式流程图。

下面所描述的方法与系统使这样一个区域的检测与编码成为可能，在该区域将过去的图象帧运动补偿为当前的图象帧失败。基于DFD信号，本发明检测那些运动补偿已失败的区域，这些区域的边界被编码并被送至解码器，通过当前亮度帧，包含在此区域中的亮度值也被编码并被送至解码器。基于解码的区域边界，该解码器对亮度值解码，并且将它们放入正确的区域。

为了描述该方法与装置，关于输入的视频序列做某些假设。具体地，假设视频源为数字格式，其中每行的象元个数、每帧的行数及每秒的帧数在编码过程之前已知，每个象元用0到255之间的8比特整数表示亮度和色度分量。如上所述，这些假设仅是为帮助简化该方法与装置的描述而做，而且将不看做为应用到这些假设不成立的场合的约束。