[发明专利]用于可伸缩视频编码的转换滤波器上采样机制

说明书

技术领域

本发明一般地涉及视频编码领域。更特别地，本发明涉及可伸缩视频编码(SVC)中的空间可伸缩性。

背景技术

本部分旨在为权利要求书中陈述的本发明提供背景或上下文。在此的描述可以包括可以探究的概念，但不一定是那些之前已经想到或者探究的概念。因此，除非在此另外指出，否则本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认其为现有技术。

数字视频包括以恒定速率(例如，15或30个图像/秒)产生的图像的顺序序列。因此，作为结果的原始的视频数据量极大。因而，对于在存储或传输之前有效地对视频数据进行编码尤其必要的是视频压缩。该压缩过程是将视频数据转换为可以以较少比特表示的压缩格式的可逆过程。

视频编码通常将视频序列中固有的空间和时间冗余用于帧内和帧间编码。在帧间编码期间，编码器尝试通过基于当前帧的相邻帧对当前帧进行预测来减少连续视频帧之间的时间冗余。在帧内预测中，通过从组成帧的块的相邻块预测该块来减少空间冗余。在预测之后，作为预测的和原始帧之间的差异的残差帧依靠某些支持参数来产生。经常在传输之前对该残差帧进行压缩，其中应用诸如离散余弦变换(DCT)之类的变换，之后是诸如Huffman编码之类的可变长度编码方法。

为了支持各种应用和传输带宽的更大灵活性和自适应性，可伸缩视频编码将基本(单层)视频编码扩展为多层视频编码。本质上，以不同空间、时间和质量分辨率将基础层与不同的增强层一起进行编码。除了帧间和帧内预测技术之外，可伸缩视频编码开发了层间预测机制，该机制采用多个层中的冗余并且对来自于较低层的信息进行重用(reuse)。

出于将来自于重构的较低空间分辨率基础层的信息重用到较高空间分辨率增强层中的目的，需要对基础层画面进行上采样。上采样过程包括使用有限冲击响应滤波器内插像素值以生成较高分辨率的画面。经内插的画面的质量以及因此预测的保真度无疑由对上采样滤波器的选择影响。图1提供了该要求的示例，其中示出了简单二元内插(即，上采样)。上采样滤波器的选择对于压缩的增强层的整体质量起到重要作用。当前存在两种熟知的考虑在SVC中使用的可替换滤波器——AVC滤波器和最优滤波器。虽然对比于AVC滤波器，最优滤波器在较低比特率上执行得相对较好，但是在高比特率上则表现不佳。

JVT的MPEG的可伸缩视频编码计划是当前处于开发阶段的H.264/AVC的可伸缩扩展。在ISO/IEC JTC1/SC29/WG11，“Draft ofJoint Scalable Video Model JSVM-4 Annex G”，JVT文档JVT-Q201，Poznan，2005年7月中描述了相应的参考编码器，通过引用将其整体合并于此。在当前JSVM中，使用先进视频编码(AVC)滤波器执行基础层帧的上采样。另外，已经提出了新的最优滤波器作为对AVC滤波器的替换。此类滤波器例如在Andrew Segall，“Adaptive Study ofUp-sampling/Down-sampling for Spatial Scalability”，JVT-Q083，Nice，France，2005年10月(通过引用将其合并于此)中讨论。这些竞争滤波器中的每个滤波器在特定比特率上产生相对良好的性能，而在其他比特率上则表现不佳。

在当前的JSVM软件中，使用具有滤波器抽头[0 0 1 0-5 0 20 3220 0-5 0 1 0 0]/32的AVC滤波器对基础层帧进行上采样。具有根据基础层QP(例如，当QP_base＝20，由[0 3 3-8-8 21 42 21-8-8 3 30]/32给出该抽头)改变的滤波器抽头的最优滤波器之前已经作为对AVC滤波器的替换而提出，从而进一步增强了内插画面的质量。然而，由备选滤波器获得的增强限于低比特率的情况。而且，在高比特率上观察到性能的下降。

发明内容

本发明增强了可伸缩视频编码中使用的现有的基础层图像上采样系统。本发明包括使用滤波器转换机制来以协作方式利用每个滤波器的最佳性能。本发明的转换过程可以一般化为更多的滤波器选择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计算复杂性。在基础层量化参数(QP)(QP_base)固定的情况下，本发明可以使用基于QP的转换、基于速率失真的转换或基于滤波器训练的转换来实现。如果解码器侧的基础层QP(QP_base)不被准确地知道，则该转换过程可以基于序列级或帧级的QP阈值实现。