[发明专利]处理和传输媒体数据的方法和装置

说明书

本发明公开了处理媒体数据的方法和装置以及传输媒体数据的方法和装置。通过处理得到媒体数据的方法、传输媒体数据的方法以及处理媒体数据的方法，根据视频层码流数据和知识层码流数据之间的依赖索引关系，保证码流的同步和正确处理和传输，并为解码器高效地提供正确的数据。保证了基于知识库的视频编码方法得到的码流的正确解码和高效传输，提升了传输效率和存储效率。

技术领域

本发明涉及图像或视频压缩技术领域和系统传输领域，更具体的说，尤其涉及处理媒体数据的方法及装置及传输媒体数据的方法及装置。

背景技术

1.文件格式

文件格式(file format)是一种将编码数据存储在计算机文件中的特定方式。它可以使得元数据(metadata)和媒体数据(media data)分离，以解决随机访问和网络流化等问题。

媒体数据包括视频数据、音频数据、时序化元数据、非时序的图像等。媒体数据分为多个访问单元，每个访问单元包含一个非时序图像或一组非时序图像或至少一个随机访问片段，当媒体数据为时序媒体时，媒体数据的访问单元被携带在样本(sample)中，当媒体数据为非时序媒体时，媒体数据的访问单元被携带在元数据项目中。元数据是用来描述媒体数据的辅助数据，如样本入口、描述轨道的数据盒等。元数据可以分为时序化元数据和非时序化元数据。时序化元数据会和媒体数据一起存在媒体数据盒中，非时序化元数据存在元数据盒中，元数据盒存放在文件下的不同层级中。

文件格式用规定的结构来存储这些数据。在文件格式下的文件，会包含媒体数据盒(media data box)和一些元数据盒(metadata box)。

“Movie Box”是一个重要的元数据盒，它存放着各类轨道和一些元数据盒。轨道具有逻辑和时间结构。从逻辑结构看，轨道可以分为媒体轨道和提示轨道。从时间结构看，各轨道是一系列时间平行的轨道，不同的轨道都拥有媒体数据流下的同一时间轴。

轨道中会存储描述媒体数据的各种元数据盒。例如，根据样本位移(sampleoffset)、样本大小(sample size)和样本条目(sample entry)，可以确定媒体数据在媒体数据盒中的位置。样本群组(sample groups)，可以表示同一轨道中一些样本数据信息所共有的特性。样本辅助信息(Sample auxiliary information sizes box和sampleauxiliary information offsets box)，描述的是样本的辅助信息。辅助类型(aux_info_type)决定了这个辅助信息的类型。

在轨道中，除描述媒体数据的元数据外，还有许多描述轨道本身的数据盒。在现有标准中，不同数据流之间的依赖关系就可以存放在这样的tref数据盒(Track ReferenceBox)中。在一个轨道的tref数据盒中会包含另一个轨道的标识和参考类型(reference_type)。参考类型的值有：’hint’、’cdsc’、‘font’、’hind’、’vdep’、’dplx’、’subt’、’thmb’、’auxl’，决定了不同数据流之间的依赖关系和种类，如’cdsc’表示当前轨道描述了所参考轨道，‘hint’表示被参考轨道是该’hint’轨道指向的媒体数据轨道。但是，相互依赖的数据流中第一样本依赖的另一个数据流中第二样本的索引信息是隐式的且与第一样本的呈现时间信息相同的，由此，通过第一样本和第二样本之间呈现时间信息的同步得到样本之间的依赖关系，因此现有的参考类型均使用同一时间轴，是时序下的依赖关系。对于非对齐时间段的依赖关系，现有类型既不能正确表达，也阻碍了非时序数据的复用和操作灵活度。

2.媒体传输方案

现有的媒体传输方法有多种，其中被标准化的有MPEG媒体传输(MPEG MediaTransport，以下简称“MMT”)是由MPEG系统子工作组开发的、用于存储和运送多媒体内容的一种新的标准技术。SMT(smart media transport)