[发明专利]多层视频设计的速率控制

说明书

根据35U.S.C§119主张优先权

本专利申请案主张对2005年5月3日提交申请且名称为“两层视频设计的速率控制(Rate Control For Two Layer Video Design)”的第60/677,608号临时申请案的优先权，所述临时申请案受让于本申请案的受让人并以引用的方式明确地并入本文中。

技术领域

本发明涉及一种用于通过有效再利用基础层模块来对可缩放的多媒体数据进行编码及解码以构建增强层帧的方法及设备。

背景技术

由于因特网及无线通信的爆炸式增长及巨大成功，以及对多媒体服务的增长需求，因特网及移动/无线信道上的流式媒体已引起极大关注。在异构因特网协议(IP)网络中，视频由服务器提供且可由一个或多个客户端流化。有线连接包含：拨号、ISDN、电缆、xDSL、光纤、LAN(局域网)、WAN(广域网)及其它。传输模式可以是单播或多播。包含PDA(个人数字助理)、膝上型计算机、桌上型计算机、机顶盒、TV、HDTV(高清晰度电视)、移动电话及其它的各种单独客户端装置需要同时用于相同内容的具有不同带宽的位流。连接带宽可随时间快速改变(从9.6kbps到100Mbps及以上)，且可比服务器的反应更快。

类似于异构IP网络的是移动/无线通信。移动/无线信道上运送多媒体内容极具挑战性，因为这些信道经常由于多路径衰落、遮蔽、符号间干扰及噪音扰动而受到严重损害。例如移动性及竞争通信量等一些其它原因也导致带宽变化及损失。信道噪音及所服务的用户数量确定信道环境的时变性质。除环境条件外，由于地理位置以及移动漫游，目的地网络可从第二到第三代蜂窝式网络变成宽带唯数据网络。所有这些变化均要求对多媒体内容进行自适应速率调节，即使是变化正在进行时。因此，视频在异构有线/无线网络上的成功传输需要有效的编码以及对变化的网络条件、装置特征及用户偏好的自适应性，同时还对损失具有恢复力。

为满足不同的用户要求且适应信道变化，人们可产生多个独立版本的位流，每个版本的位流可根据传输带宽、用户显示及计算能力来满足一类约束，但这对服务器存储及多播应用并不有效。在其中在服务器处构建容纳高端用户的单一宏位流的可缩放编码中，将用于低端应用的位流作为所述宏位流的子集来嵌入。因此，单一位流可通过选择性地传输子位流而适应各种各样的应用环境。可缩放编码所提供的另一个优点是在易出错的信道上进行稳健的视频传输。可实施错误保护及错误隐藏。可将更可靠的传输信道或更好的错误保护应用到含有最重要信息的基础层位。

在例如MPEG-1、MPEG-2、MPEG-4(统称为MPEG-x)、H.261、H.262、H.263、及H.264(统称为H.26x)的混合编码器中存在空间、时间及信噪比(SNR)可缩放性。在混合编码中，通过运动补偿预测(MCP)移除时间冗余。视频通常被划分为一系列图像群组(GOP)，其中每个GOP以内部编码帧(I)开始，跟随前向预测帧(P)及双向预测帧(B)的布置。P-帧及B-帧两者均是中间帧。B帧是多数MPEG类编码器中的时间可缩放性的关键所在。然而，例如MPEG-4简单规范(Simple Profile)及H.264基线规范(Baseline Profile)等一些规范并不支持B帧。MPEG-4标准阐述于ISO/IEC14496-2中。H.264标准阐述于ISO/IEC 14496-10中。

在MPEG-4中，规范及等级提供根据将特定位流解码所需的解码器能力来界定语法及语义的子集的手段。规范是定义好的整个位流语法的子集。等级是一组定义好的施加在位流内各参数上的约束条件。对于任何既定规范，等级通常对应于解码器处理负载及存储器能力。因此，规范及等级指定对位流的约束条件，且因此对解码位流的能力设置限制。一般来说，如果解码器能够正确地对既定等级处既定规范的所有语法元素的所有允许值进行解码，则可认为其符合所述等级处的所述规范。

发明内容

本发明阐述一种能够将视频流可缩放编码为多个层的视频编码及解码系统。可修改基础层编码及增强层编码的质量，以便基础及增强层的传输带宽满足数学关系，例如比率。

一个实例是将多媒体数据编码为至少第一及第二层的方法，其中所述第一及第二层的每一者均具有相关联的传输带宽。所述方法包含对多媒体数据进行预编码以产生多媒体数据的一个或多个特征参数，及对多媒体数据进行编码以产生所述至少第一及第二层，其中至少部分地根据所述特征参数确定所述相关联的带宽，以便所述相关联的带宽大致满足数学关系。