[发明专利]一种帧间与帧内编码模式的选择方法

说明书

技术领域

本发明涉及实时视频编码中的一种编码模式选择算法。

背景技术

视频编码算法包含帧内编码和带有运动补偿帧间预测的帧间编码两种模式。带有运动补偿帧间预测的帧间编码模式(后面称为Inter模式)在压缩比上对于帧内编码模式(后面称为Intra模式)具有无与伦比的优势。因此，在图像帧一级和16×16图像块(称为宏块)一级尽量采用Inter模式来获得高压缩比，就是P帧和Inter宏块。仅在初始时刻(包括序列的绝对初始时刻和切入时刻)和需要纠正或应付传输差错时使用I帧(图像帧一级的编码模式为Intra)，在帧间块匹配失败时和需要局部图像失谐校正或刷新时使用Intra宏块(宏块一级的编码模式为Intra)。

其中，帧间块匹配失败是由遮挡引起的。此时，当前帧部分图像区域与参考帧图像之间没有对应关系或对应得不恰当，Inter模式的率失真性能比Intra模式的还差。虽然在绝大多数情况下同一场景的帧间块匹配是成功的，这样的块匹配失败情况只占少数，但是如果不及时改成Intra模式，就会引起局部图像质量衰退，如出现拖影和残留的效果。通常的解决方法是在进行P帧编码时对每个宏块同时进行Inter模式与Intra模式的尝试，计算出各自的率失真性能量度量，如能同时实现码率R和失真度D优化的Lagrangian代价J＝D+λ×R，从中选出率失真性能较好的模式。

H.264 Intra模式所包含的4×4亮度帧内预测要求利用编解码顺序前的相邻4×4块的重建图像数据生成预测值。当且仅当前一个4×4块的重建图像生成后，才能开始处理后一个4×4块。于是，为了获得4×4Intra模式的Lagrangian代价J，必须对每个4×4亮度块执行完整的Intra宏块编码过程。其附带生成的Intra模式编码结果只有在宏块编码模式最后确定为Intra模式的情况下才有用。而Intra宏块在P帧中出现的机会非常低。在绝大多数情况下，Intra模式编码结果都成为无用数据被丢弃。

H.263 TMN12的帧间与帧内模式选择算法简单得多：只需要求出宏块的自方差，便可以作为Intra代价与帧间预测残差的绝对值和SAD比较，不需要执行任何Intra编码运算。可惜这种方法不能沿用到H.264编码。因为H.264Intra模式包含了H.263Intra模式所没有的图像平面空间预测，必须用帧内预测残差与帧间预测残差相比较。

文献Fast inter mode select，JVT of ITU-T VCEG and ISO/IEC MPEG，Document JVT-I020，San Diego，USA，September 2003，公开了一种帧间与帧内模式选择算法：在完成Inter模式选择后，比较时域相关性和空域相关性，根据比较结果决定是执行Intra模式尝试，还是确定宏块编码模式为Inter模式。该算法定义方块空域相关性指标ABE为当前宏块与编码顺序前的相邻宏块相交的边界像素的像素值之差(交界线一边用原始图像值，另外一边用重建图像值)的平均值，定义方块时域相关性指标AR为最佳Inter模式下变换系数码流的平均长度。如果AR＜kABE(k为预先设定的正数)，时域相关性大于空域相关性，最佳编码模式为Inter模式，可以跳过Intra模式的尝试；否则，空域相关性大于时域相关性，需要执行Intra模式尝试。

实际应用表明该算法能够大幅度减少Intra模式尝试的机会，有效减少运算量，同时对图像质量的影响甚微(＜0.1dB)。可以改进之处包括该算法在比较时域相关性和空域相关性前需要生成Inter模式变换系数码流，这样每个宏块可能出现两次生成变换系数码流的过程，存在进一步简化处理过程和减少运算量的余地；该算法只能用于帧内预测不受限的编码情况，不能用于帧内预测受限的编码情况。