[发明专利]可对视频信号缩放地进行编码和解码的方法

说明书

技术领域

本发明涉及视频信号的可缩放编码和解码。

背景技术

向由移动电话或笔记本计算机以无线方式发送和接收的数字视频信号分配TV信号所需的高带宽是困难的。可以预想到同样的困难会发生在将来普及使用的移动电视机和手提计算机上。因此，这些移动设备所使用的视频压缩标准应当具有高的视频信号压缩效率。

这些移动设备具有多种处理和显示能力以致应该配备多种压缩的视频数据形式。这意味着应该基于一个视频源提供具有多个变量——例如每秒发送的帧数、分辨率和每像素的位数——的不同组合的多种不同质量的视频数据。这向内容提供者施加了很大的负担。

由于上述问题，内容提供者为每一源视频配备高的位速率的压缩视频数据，并当从移动设备接收到请求时还配备了一种处理，以对所压缩的视频执行解码并对其编码而回到适应移动设备的视频处理能力的视频数据。然而，该方法必须用到代码转换程序，包括解码、缩放和编码处理，这有时会造成将请求的数据提供给移动设备的延迟。代码转换程序还需要复杂的硬件和算法以应付多种对象标码格式。

已研发出可缩放视频编解码器(SVC)以尝试克服这些问题。这种方案将视频编码为具有最高图像质量的图象序列，同时保证能对一部分编码的图象(帧)序列(具体地说，从全部帧序列间断地选择的一部分帧序列)进行解码以形成某一图像质量等级。

运动补偿时域滤波(MCTF)是可缩放视频编解码中建议使用的一种编码方案。MCTF方案具有减少每秒发送位数的高压缩效率(即高编码效率)。MCTF方案可应用于一些发送环境，例如带宽受到限制的移动通信环境。

尽管能确保可接收可缩放MCTF编码方案编码的一部分图象序列并将其处理成如上所述具有某一图象质量等级的视频，但是仍然存在的问题是如果位速率降低则图像质量显著劣化。该问题的一种解决方案是提供低的位速率的辅助图象序列，例如具有小屏幕尺寸和/或低帧速的图象序列。

辅助图象序列被称为基层(BL)，而主图象序列被称为增强层或强化层。由于将同一视频内容编码为具有不同空间分辨率或不同帧速率的两个层，因此基层和增强层的视频信号具有冗余。为了提高增强层的编码效率，可用基层的运动信息和/或纹理信息预测增强层的视频信号。这种预测方法被称为层间预测。

图1示出BL内预测方法和层间残余预测方法的例子，它是用基层对增强层进行编码的层间预测方法。

BL内预测方法使用基层的纹理(或图象数据)。具体地说，BL内预测方法用以内模式编码的基层的相应块形成增强层的宏块的预测数据。术语“相应块”指位于与含宏块的帧在时域上重合的基层帧中并且如果通过增强层的屏幕尺寸和基层的屏幕尺寸的比放大基层帧则具有覆盖宏块的面积的块。在通过上升采样而以增强层的屏幕尺寸和基层的屏幕尺寸的比放大相应块后，BL内预测方法使用基层的相应块。

层间残余预测方法与BL内预测方法相似，除了它使用基层中编码的相应块以获得残余数据，该数据是图像差数据，而不是基层中含图像数据的相应块。层间残余预测方法使用编码以包含残余数据的基层的相应块形成被编码以包含残余数据的增强层的宏块的预测数据，所述残余数据是图像差数据。与BL内预测方法相似，在通过上升采样而以增强层屏幕尺寸与基层屏幕尺寸的比放大相应块后，层间残余预测方法使用含残余数据的基层相应块。

通过对视频源下降采样而产生用于层间预测方法的具有低分辨率的基层。由于可采用多种不同的下降采样技术和下降采样比(即水平和/或垂直尺寸缩减比)，从同一视频源产生的增强层和基层中的相应图象(帧或块)可以是异相的。

图2示出增强层和基层之间的相位关系。可通过(i)以独立于增强层的较低空间分辨率对视频源采样(ii)以较高的空间分辨率对增强层下降采样来产生基层。在图2的例子中，增强层和基层之间的下降采样比为2/3。

视频信号作为单独的分量被管理，即一个亮度分量和两色度分量。亮度分量关联于亮度信息Y而两色度分量关联于色度信息Cb和Cr。))的亮度和色度信号之间的比4∶2∶0(Y∶Cb∶Cr)是广泛使用的。色度信号的采样典型地位于亮度信号的采样中间。当直接从视频源形成增强层和/或基层时，对增强层和/或基层的亮度信号和色度信号采样以满足4∶2∶0的比和对应于4∶2∶0的比的位置条件。

在上面的情形(i)中，由于增强层和基层可能具有不同的采样位置，因此如图2的部分(a)所示，增强层和基层是异相的。在部分(a)的采样中，每个增强层和基层的亮度和色度信号满足4∶2∶0的比和对应于4∶2∶0的比的位置条件。