[发明专利]用于有效的可伸缩流适配的系统和方法

说明书

技术领域

本发明一般地涉及媒体编码、解码、存储和传输。更特别地，本发明涉及可伸缩媒体编码、解码、存储和传输。

背景技术

多媒体应用包括本地回放、流传输或随需(on-demand)、会话和广播/多播服务。多媒体应用所涉及的技术例如包括媒体编码、存储和传输。媒体类型包括语音、音频、图像、视频、图像和时间文本。已经针对不同的技术规定了不同的标准。

视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1视频、ITU-TH.262或ISO/IEC MPEG-2视频、ITU-T H.263、ISO/IEC MPEG-4视频和ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)。此外，还在开发新的视频编码标准。例如，正在进行可伸缩视频编码(SVC)标准的开发。此标准将成为H.264/AVC的可伸缩扩展。同样，正在进行中国视频编码标准的开发。

可伸缩视频编码可以提供可伸缩视频比特流。可伸缩视频比特流的一部分可以被提取并解码，其具有劣化的回放视觉质量。可伸缩视频比特流包含非可伸缩基本层和一个或多个增强层。增强层可以增强时间分辨率(即帧率)、空间分辨率或者仅仅是由较低层或其部分表示的视频内容的质量。在有些情况下，增强层的数据可以在特定位置之后、甚至在任意位置被截短。每个截短位置可以包括一些表示逐渐增强的视觉质量的附加数据。这种可伸缩性被称为精细颗粒(粒度)可伸缩性(FGS)。与FGS相对，由不提供精细颗粒可伸缩性的质量增强层提供的可伸缩性被称为粗颗粒可伸缩性(CGS)。

当前草案SVC标准中的可伸缩层结构的特征在于三个变量，称为时间_级别(temporal_level)、从属_id(dependency_id)和质量_级别(quality_level)，这些变量在比特流中用信号发送或者可以根据规范推导出。时间_级别用于指示时间可伸缩性或帧率。包含具有较小时间_级别值的图像的层具有比包含具有较大时间_级别的图像的层更小的帧率。从属_id用于指示层间编码的从属等级。在任何时间位置，具有较小从属_id值的图像可以用于对具有较大从属_id值的图像编码的层间预测。质量_级别用于指示FGS层的等级。在任何时间位置并且具有相同的从属_id值的情况下，具有质量_级别值等于QL的FGS图像使用该FGS图像或具有质量_级别值等于QL-1的基本质量图像(也即当QL-1＝0时为非FGS图像)来进行层间预测。

图1示出了示例性可伸缩视频流的时间片段，显示了上述三个变量的值。应当注意，时间值是相对的，也即，时间＝0不一定是指比特流中按显示顺序排在第一的图像的时间。图2示出了该示例的典型预测参考关系，其中实线箭头指示沿水平方向的帧间预测参考关系，虚线空心箭头指示层间预测参考关系。(箭头)所指向的实例使用(箭头)另一方向的实例以用于预测参考。

如此处所讨论的，层被定义为分别具有相同的时间_级别、从属_id和质量_级别的值的图像的集合。为了解码和回放增强层，通常包括基本层的较低层也应为可用的，因此较低层可以直接或间接地用于编码增强层中的层间预测。例如，在图1和图2中，(t，T，D，Q)等于(0，0，0，0)和(8，0，0，0)的图像属于基本层，它们可以独立于任何增强层而解码。(t，T，D，Q)等于(4，1，0，0)的图像属于双倍于基本层的帧率的增强层；该层的解码需要存在基本层图像。(t，T，D，Q)等于(0，0，0，1)和(8，0，0，1)的图像属于以FGS方式增强基本层的质量和比特率的增强层；该层的解码也需要存在基本层图像。

在H.264/AVC标准中，如下定义了即时解码刷新(IDR)图像。所有片是I或者SI片的编码图像使得解码进程在解码该IDR图像之后立即将所有参考图像标记为“未用于参考”。在解码IDR图像之后，按解码顺序随后的所有编码图像可以在没有来自任何先于该IDR图像解码的图像的内部预测的情况下被解码。每个编码视频序列的第一幅图像是IDR图像。