[发明专利]改进的视频压缩帧插值

说明书

本申请是2003年6月27日提交的名称为“视频图像压缩方法”的中国专利申请03814629.0的分案申请。 

相关申请的交叉参考 

本申请是2001年7月11日提交的美国申请序列号09/904203的部分延续申请，并要求2002年6月28日提交的美国C.I.P.申请序列号10/187395的优先权。 

技术领域

本发明涉及视频压缩，更特别地是涉及在MPEG类的编码和解码系统中改进的视频压缩帧插值。 

背景技术

MPEG视频压缩 

MPEG-2和MPEG-4是国际视频压缩标准，它们定义的各自的视频语法，提供了高效的方法来以更紧凑的编码数据表示图像序列。编码比特的语言就是所谓的“语法”。例如，几个标记可以表示整个样本块(例如对于MPEG-2是64个样本)。两种MPEG标准都描述了解码(重构)过程，即把编码的比特从紧凑的表示变换成图像序列的原始格式的一个近似。例如，在编码比特流中的一个标志可以表示在利用离散余弦变换(DCT)算法对随后的比特解码之前，是否使用预测算法先处理这些比特。包括解码过程的算法由这些MPEG标准所定义的语义来规定。这个语法可以被用于开发普通的视频特征，例如空间冗余、时间冗余、匀速运动、空间屏蔽等等。MPEG解码器必须能够解析和解码输入的数据流，但是只要数据流符合相应的MPEG语法，就可以使用各种各样的可能的数据结构和压缩技术(虽然在技术上这背离了标准，因为语义不一致)。在某种替换语法内携带所需的语义也是 可能的。 

这些MPEG标准使用各种压缩方法，包括帧内方法和帧间方法。在大多数视频场景中，背景保持相对稳定而动作在前景中发生。背景可能移动，但是通常许多场景是冗余的。这些MPEG标准通过创建称为“内”帧或“I帧”的参考帧开始压缩。在不参考其他帧的情况下来压缩I帧，因此I帧包含了视频信息的一个完整的帧。I帧提供用于随机访问的数据比特流的入口点，但只能被适度地压缩。典型地，表示I帧的数据在比特流中每隔12到15帧放置(虽然在某些情况下在I帧之间使用更宽的间隔也是有用的)。据此，由于落入参考I帧之间的帧中只有一小部分不同于包围的(bracketing)I帧，所以只有图像差别被捕获、压缩和存储。两种类型的帧被用于这种差别——预测帧(P帧)和双向预测的(或插值的)帧(B帧)。 

p帧一般根据过去的帧(I帧或者前面P帧)来编码，而且通常被用作后续P帧的参考。P帧受到相当大的压缩量。B帧提供最高的压缩量，但是为了被编码既需要过去的参考帧也需要未来的参考帧。P帧和I帧是“可参考帧”，因为它们可以被P帧或B帧参考。 

宏块(macroblock)是图像像素区域。对于MPEG-2，宏块是4个8x8DCT块的16x16像素组，对于P帧加上一个运动向量，对于B帧加上一个或两个运动向量。可以使用帧内或帧间(预测的)编码对P帧内的宏块单独编码。可以使用帧内编码、前向预测编码、后向预测编码或同时使用前向和后向(即双向插值)预测编码对B帧内的宏块单独编码。在MPEG-4视频编码中所用的结构与此稍有不同，但是是类似的。 

在编码之后，MPEG数据比特流包括I帧、P帧和B帧的序列。序列可以由I帧、P帧和B帧的几乎任何模式组成(关于它们的位置有几个次要的语义限制)。但是，在业界实践中常见的是具有固定的帧模式(例如，IBBPBBPBBPBBPBB)。 

运动向量预测 

在MPEG-2和MPEG-4中(以及类似的标准，例如H.263)，B型(双向预测的)帧的使用被证明是有益于压缩效率的。这种帧的每个 宏块的运动向量可以由以下三种方法中的任何一种来预测： 

模式1：根据前面的I帧或P帧进行的前向预测(即非双向预测的帧)。 

模式2：根据后续的I帧或P帧进行的后向预测。 

模式3：根据后续和前面的I帧或P帧进行的双向预测。 

模式1和用于P帧的前向预测方法相同。模式2除了向后根据后续帧来工作外，是相同的概念。模式3是插值模式，其结合了来自前面的和后续的帧的信息。