[发明专利]媒体文件中的兴趣区域可缩放性信息的信号发送

说明书

技术领域

本发明主要地涉及可缩放视频编码和解码。具体而言，本发明 涉及存储包括兴趣区域(ROI)可缩放层的可缩放数据流。

背景技术

这一节旨在于提供在权利要求书中记载的本发明的背景或者 上下文。这里的描述可以包括能够探求的概念，但是并非必然是 先前已经构思或者探求的概念。因此，除非这里另有指明，在这 一节中描述的内容不是本申请中的说明书和权利要求书的现有技 术，也不因为包含于这一节中而被承认是现有技术。

多媒体应用包括本地回放服务、流发送或者按需服务、对话服 务和广播/多播服务。在多媒体应用中涉及到的技术除了其他技术 之外还包括媒体编码、存储和发送。已经为不同技术指定不同标 准。

视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual、 ITU-T H.262或者ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)。 此外，关于新视频编码标准的开发目前正在付之努力。在开发中 的一个此类标准是将成为对H.264/AVC的可缩放扩展的可缩放视 频编码(SVC)标准。

可缩放视频编码对于在利用如下解码器的系统中使用的许多 多媒体应用和服务而言是合乎需要的特征，这些解码器具有大范 围的处理能力、显示尺寸和连接带宽等。已经提出若干类型的视 频可缩放性，比如时间、空间和质量可缩放性。

可以按降级的回放视觉质量对可缩放视频位流的一部分进行 提取和解码。可缩放视频位流包含不可缩放基本层和一个或者多 个增强层。增强层可以增强由下层或者其部分代表的视频内容的 时间分辨率(即，帧速率)、空间分辨率或者简单地为质量。

在一些情况下，可以在某个位置之后或者甚至在任意位置截取 增强层中的数据，其中各截取位置可以包括代表越来越增强的视 觉质量的附加数据。这样的可缩放性称为细颗粒(颗粒度)可缩 放性(FGS)。FGS概念首先引入到MPEG-4 Visual标准并且也是 SVC标准的一部分。与FGS对照，粗颗粒可缩放性(CGS)是指 由没有提供细颗粒可缩放性的质量增强层提供的可缩放性。

在JVT-S202的“Joint Scalable Video Model JSVM-6：Joint Draft 6 with proposed changes”(第19届Joint Video Team Meeting， Geneva，Switzerland，2006年4月)中描述了SVC的最新草案规范， 通过整体引用将该规范结合于此。

SVC利用H.264/AVC中已经可用于时间可缩放性的机制。这 一机制称为“分级B画面”编码结构。因此，SVC中所用机制也完 全受H.264/AVC支持，而可以通过使用与子序列有关的补充增强 信息(SEI)消息来实现发信号。

对于以空间和质量(SNR)可缩放性的形式提供CGS可缩放 性的机制，使用一种常规分层编码技术。除了新的层间预测方法 之外，这一技术类似于在更早标准中使用的技术。可以层间预测 的数据包括内纹理、运动和残留数据。层间运动预测包括块编码 模式、头部信息等的预测。在SVC中，可以根据除了当前重建的 层或者下一层之外的层来预测数据。

SVC包括称为单环解码的相对新概念。通过使用受约束的内纹 理预测模式来实现单环解码，其中层间内纹理预测可以应用于宏 块(MB)，就这些MB而言基本层的对应块位于内MB中。同时， 基本层中的那些内MB使用受约束的内预测。在单环解码中，解 码器需要仅针对预期回放的可缩放层(称为预期层)来执行运动 补偿和全画面重构，由此极大地减少解码复杂性。除了预期层之 外的所有层无需完全地加以解码，因为没有用于层间预测(无论 是层间内纹理预测、层间运动预测或者层间残留预测)的MB的 所有或者部分数据对于重构预期层而言是不需要的。

当与更旧的视频压缩标准相比时，已经推广SVC的空间可缩 放性以使基本层能够是增强层的修剪和缩放版本。也已经调整量 化和熵编码模块以提供FGS能力。FGS编码模式称为渐进求精， 其中通过反复地减少量化步长尺寸并且应用与子位平面编码相似 的“循环”熵编码对变换系数的相继求精编码。