[发明专利]支持增强效率和主观质量的预测帧选择的方法和设备

说明书

相关申请的交叉参考

本发明要求于2008年3月10日提交的美国临时申请序号No.61/035,187(代理案号No.PU080013)的权益，其全部内容通过引用合并于此。

技术领域

本发明总体上涉及视频编码，更具体地，涉及一种支持增强效率和主观质量的预测帧选择的方法和设备。

背景技术

典型地，大多数当前高级视频编码标准指定三种公共帧类型来对帧进行编码；即，I帧、P帧和B帧。B帧是针对双向帧、或双向预测帧或者有时针对双预测帧的缩写。B帧依赖于其先前帧和后续帧，并仅包括根据先前帧而变化的数据或者与后续帧的数据不同的数据。P帧是针对预测帧或已预测的帧的缩写。P帧在I帧之后，并且仅包括根据先前I帧而变化的数据。P帧依赖于I帧来填满其大多数数据。I帧(也被称作关键帧)是帧内编码的缩写。I帧存储显示帧所需的所有数据，并不涉及帧间运动补偿预测(MCP)。在一般使用中，在压缩视频中P帧和B帧散布在I帧之中。P帧编码仅允许前向帧间MCP，而B帧编码不仅允许前向而且还允许后向以及双向MCP。如何选择正确帧类型来编码帧是重要的问题，这不仅影响编码效率，而且还影响编码视频的感知质量。

I帧类型选择通常是直接的。除了第一视频帧以外，只要存在场景变换或已经达到最大图像组(GOP)长度，也将帧编码为I帧。实际上，具有最大GOP长度的GOP结构通常被应用于，确保编码视频的快速随机访问。然而，预测/双预测(P/B)帧类型选择是不容易并且更困难的问题。与P帧编码相比，B帧编码允许更灵活的预测选择，并因此对于各个单独帧获得更高的编码效率。然而，对紧随B帧之后的帧进行编码的效率会被折衷。这是由于以下事实：将紧邻该帧之前的帧被编码为B帧，其预测现在是指紧邻B帧之前的帧，因此这会导致折衷的编码效率。应当选择P/B帧类型来实现最佳总编码效率。实际上，B帧编码的另一缺点是合成的闪烁伪像。由于后向预测和双向预测，编码P帧和B帧之间或者两个编码B帧之间的合成帧间差通常比两个编码P帧之间的合成帧间差更明显。因此，利用更多B帧编码尤其是以低或中编码比特率，会观察到更多闪烁伪像。

除了帧类型选择/判定以外，在其他相关且类似的上下文中也解决了上述问题。例如，在动态/自适应图像组(GOP)结构中已经解决了上述问题。此外，在参考帧替换/插入的上下文中已经解决了上述问题。基本上，问题在于，如何正确判定应将帧编码成P帧还是B帧，使得优化所涉及的帧及其邻域帧的总编码性能。

所有现有方案主要以提高编码效率为目标。为此，如关于第一和第二现有技术方法所描述的，广泛承认的普通启发如下：当帧间运动高时，即，当两个邻域帧之间的相关性较低时，应当插入P帧(或参考帧)，而非参考B帧编码更高效，并应当被应用于编码低或中运动帧。

在现有参考和文献中，通常针对基于GOP的编码情况来解决P/B帧类型选择问题。在第三现有技术方法中，提出一种发现GOP的速率-失真最优P/B编码模式/结构的方案。对于GOP内的每个帧，除了P/B判定以外，该方案还搜索针对恒定比特率(CBR)速率控制的最优量化参数。尽管在编码效率方面是最优的，但是该方案需要帧的多个实际编码通路，来查看判定结果，因此，引起不切实际的计算复杂度，更不用说额外的等待时间需求，这种额外等待时间需求在实时编码情况下是应禁止的。

实际上，大多数现有方案是低复杂度的实现方案。一种类型的P/B选择方案是基于启发的方法。在第二现有技术方法中，当累积的运动强度超过特定阈值时插入P帧，其中，使用运动矢量(MV)的绝对幅度之和来测量运动强度，而第四现有方法中的方案建议，当运动速度几乎恒定时，即，当其前向和后向运动强度是类似或平衡时，将帧编码为B帧。原理上，基于累积的运动和平衡的运动的启发是互补的，因此，如果一起应用会实现更好的性能。

另一类型的P/B选择方法基于数学模型。然而，实际上，B帧编码由于所涉及的后向预测会引起恼人的闪烁伪像，这更容易在低运动帧中观察到。