[发明专利]封装编码的多组成视频的方法和装置

说明书

相关申请的交叉引用

本专利申请要求2010年6月14日提交的、序列号No.61/354,422、标题“Extension to the Extractor data structure of SVC/MVC file formats”的美国临时专利申请的优先权权益。在此通过引用明确地并入上述临时专利申请的教导。

本申请涉及与本申请同时提交的、以下待审的共同拥有的、序列号为No.___标题为“Method and Apparatus for Encapsulating Coded Multi-component Video”的美国专利申请（代理案号NO.PU100141）。在此通过引用明确地并入上述非临时专利申请的教导。

技术领域

本发明一般地涉及HTTP流传输。更具体地，本发明涉及对诸如可缩放视频编码（SVC）流和多视图编码（MVC）流之类的编码的多组成视频流的媒体实体进行封装，以用于HTTP流传输。

背景技术

对于HTTP流传输应用，在服务器侧，经常将编码的视频进行封装并且存储为符合BMFF的文件，诸如MP4文件。此外，为了实现自适应HTTP流传输，文件通常被划分为多个电影片段并且这些片段被进一步分组为可由客户端URL请求寻址的分段。在实践上，将视频内容的不同编码的表示存储在这些分段中，使得客户端可以在会话期间动态地选取期望的表示来下载和播放。

诸如SVC或MVC比特流之类的编码的分层视频，通过解码比特流的不同子集，在时间/空间分辨率、质量、视图等等方面启用不同的操作点，即表示，而提供了对这种比特率自适应的自然的支持。然而，现有的ISO基本媒体文件格式（BMFF）标准，诸如MP4文件格式，不能提供对每个层或者表示的单独访问，并且因此不能应用于HTTP流传输应用。如图1所示，在MP4文件格式中，一个媒体文件的所有层或者表示的元数据被存储在moov电影盒(movie box)中，而所有层或者表示的媒体内容数据被存储在mdat电影盒中。在HTTP流传输中，当客户端请求一个层时，由于所有层或者表示被混合在一起并且客户端不知道在哪里找到所需要的层或者表示，所以不得不发送整个文件。

如稍后将看到的，在自适应HTTP流传输应用中，期望能够跨越电影片段或者组成文件的边界来引用媒体数据样本，诸如网络抽象层（NAL）单元。在SVC/MVC上下文中，可以通过使用如同“提取器”的机制来建立这种引用。提取器（extractor）是在对BMFF的AVC文件格式扩展的SVC/MVC修改中定义的内部文件数据结构：Information Technology-coding of audio-visual objects-Part15:Advanced Video Coding(AVC)file format,Amendment2:File format support for Scalable Video Coding,2008(第15-17页)。提取器被设计用来使得能够在不进行复制的情况下通过引用而从其它轨道（track）提取NAL单元。此处，轨道是ISO基本媒体文件中的有关样本的时间序列（timedsequence）。对于媒体数据而言，轨道对应于图像或者采样的音频的序列。以下示出提取器的语法：

提取器数据结构的语义为：

NALUnitHeader:该NAL单元结构如在ISO/IEC14496-10附录G中为类型20的NAL单元所指定的：

nal_unit_type应该被设置为提取器NAL单元类型（类型31）。

forbidden_zeroz-bit,reserved_one_bit,和reserved_three_2bits应该被设置为如在ISO/IEC14496-10附录G中所指定的。