[发明专利]对表示图像或图像序列的数据流进行解码的方法和设备

说明书

本申请是申请日为2005年12月20日、申请号为200580048217.9、发明名称为“对图像数据流执行可扩展编码和解码的设备和方法、信号、计算机程序以及用于相应图像质量的自适应模块”的中国专利申请的分案申请。

技术领域

本发明的领域是图像或图像视频序列的编码和解码。更具体而言，本发明涉及一种用于对图像执行可扩展(scalable)编码和解码、也就是以可适应的质量以及可变的空间/时间分辨率来编码和解码图像的技术。

背景技术

当前，对很多数据传输系统来说，从为具有多种不同类型的数据访问的众多客户提供服务的意义上讲，这些系统是异构的。由此，举例来说，全球性的因特网是可以从PC类型的终端以及无线电电话访问的。更为普遍的是，接入网络的带宽、客户终端的处理能力及其屏幕的大小因用户的不同而存在很大区别。因此，举例来说，第一客户可以使用随其自由支配的1024kbit/s的ADSL比特率从强大的PC访问因特网，而第二客户则试图以低的比特率使用与调制解调器相连的PDA(个人数字助理)类型的终端来同时访问相同数据。

由此，有必要为这些不同的用户提供与其需求相适应的数据流，而这些需求在比特率和图像分辨率方面是有很大差别的。这种必要性更广泛地适用于可被具有多种访问和处理能力的客户所访问的所有应用，尤其是以下应用：

-VOD(“视频点播”)，它可以由UMTS(“通用移动电信服务”)类型的无线电通信终端、具有ADSL接入的PC或电视终端所访问；

-会话移动性(例如，在PDA上继续在电视机上开始的视频会话，或者在UMTS类型的终端上继续在GPRS(“通用分组无线电服务”)上开始的会话)；

-会话连续性(在与新应用共享带宽的情况下)；

-高清晰电视，其中单个视频编码必须顾及为具有标准清晰度(SD)的客户以及具有高清晰度(HD)的客户提供服务；

-视频会议，其中单个编码必须满足具有UMTS接入以及因特网接入的客户的需要；

-等等。

为了满足这些不同的需求，已经开发了可扩展图像编码算法，以便能够实现可适应的质量以及可变的空间-时间分辨率。编码器产生一个具有多层的分层结构的压缩流，其中每一层都内嵌在一个更高级别的层中。举例来说，第一数据层传送的是可以被PDA类型的终端解码的256kbit/s的流，而第二补充层传送的是分辨率大于256kbit/s的流，作为对第一个流的补充，该流可以被更强大的PC类型的终端解码。在本实例中，传送这两个内嵌层所需要的比特率是512kbit/s。

现在，在MPEG21工作组的环境中，其中的某些可扩展视频编码算法正在被MPEG(“运动图像专家组”)标准所采纳。

特别地，MPEG-21工作组最近选择的模型、即SVC(“可扩展视频编码”)模型被称为SVM(“可扩展视频模型”)，它是以基于AVC(“高级视频编码”)类型的解决方案的可扩展编码器为基础的。在2004年10月发表于西班牙Palma de Majorca的名为“Scalable Video Model 3.0”的文献N6716ISO/IEC JTC 1/SC 29/WG 11中详细描述了这种模型。MPEG-21工作组的目标是提出一种用于提供可扩展流的标准，其中所述可扩展流在空间-时间维度以及质量方面是粒度平均的。

1.MPEG-21SVM编码器

1.1编码器的主要特性

图1描述的是这种具有金字塔结构的编码器的结构。视频输入组件10经历二元子采样操作(用11标记的二中取一2D抽选，用12标记的四中取一2D抽选)。然后，每一个子采样的流都会经历MCTF(运动补偿时域滤波)类型的时域分解处理13。低分辨率版本的视频序列被编码(14)到给定比特率R_r0_max，其中该比特率与用于低空间分辨率r0(这个基本等级是兼容AVC的)的最大可解码比特率相对应。

然后，通过减去先前重新构建的并且过采样的等级，并且通过以如下形式编码残差(residue)，对更高的等级进行编码15、16：

-基本等级；

-可能通过比特平面的多行程(multi-run)编码获取的一个或多个增强等级(在下文中将“细化粒度可扩展性”称为FGS)。预测残差被编码到比特率R_ri_max，其中该比特率与对于分辨率ri而言可以解码的最大比特率相对应。