[发明专利]生成描述数据以及获得媒体数据和元数据的方法和装置

说明书

本发明涉及一种用于从通过一个或多个位流的封装而得到的封装位流中获得媒体数据和元数据的方法，所述一个或多个位流中的各位流的媒体数据被组织为一个或多个层，各层包括定时样本或子样本。获得数据结构，所述数据结构用于对包括所述媒体数据的至少一个定时样本组的至少一个定义的元数据进行参考。获得所述一个或多个位流中的各位流的至少一个操作点描述符，所述至少一个操作点描述符提供与描述性信息有关的元数据，所述描述性信息使得属于在所述数据结构所参考的元数据中定义的定时样本组的定时样本能够被独立地解码。与一个定时样本组相关联的各操作点描述符定义属于该组的定时样本的描述性信息。

技术领域

本发明一般涉及例如根据MPEG标准化组织所定义的基媒体文件格式的定时媒体数据的封装的领域，以提供便于媒体数据的交换、管理、编辑和呈现的灵活且可扩展的格式、并且改进流传递，特别是与压缩视频流中的用户选择的关注区的HTTP(超文本传输协议)和RTP(实时传输协议)流传输有关的流传递。更具体地，本发明涉及用于从可以动态设置操作点描述符的封装位流中获得媒体数据和元数据的方法、装置和计算机程序。

背景技术

视频编码是将一系列视频图像转换成紧凑的数字化位流以使得可以传输或存储该视频图像的方式。编码装置用于对视频图像进行编码，并且相关联的解码装置可用于重构位流以供显示和观看。一般目标是形成位流，以与原始视频信息相比具有更小的大小。这有利地降低了传输网络或存储装置传输或存储位流码所需的容量。为了被传输，一般根据传输协议来封装视频位流，其中该传输协议通常添加头部和校验位。在因特网网络和移动网络上广泛部署且使用视频流传输机构，以使音频/视频媒体通过诸如3GPP的自适应HTTP流(AHS)、Microsoft的平滑流或Apple的HTTP直播流等的HTTP(超文本传输协议)进行流传输。

最近，运动图像专家组(MPEG)发布了新标准以统一并取代通过HTTP的现有流传输解决方案。这个被称为“通过HTTP的动态自适应流(DASH)”的新标准旨在支持基于标准网络服务器的通过HTTP的媒体流模型，其中智能(即，对要进行流传输的媒体数据的选择以及位流对用户选择、网络条件和客户端能力的动态自适应)仅依赖于客户端选择和装置。

在该模型中，在数据片段以及被称为“媒体呈现描述(MPD)”的清单中组织媒体呈现，其中“媒体呈现描述(MPD)”表示要呈现的定时媒体数据的组织。特别地，清单包括下载数据片段所要使用的资源标识符，并且提供上下文以选择和组合这些数据片段，从而获得有效的媒体呈现。资源标识符通常是可能与字节范围进行组合的HTTP-URL(统一资源定位符)。基于清单，客户端装置可以在任何时间根据其需要、其能力(例如，所支持的编解码器、显示大小、帧频、质量等级等)以及网络条件(例如，可用带宽)来确定要从媒体数据服务器下载哪些媒体片段。

应当注意，存在HTTP的替代协议，例如，实时传输协议(RTP)。

另外，视频分辨率正持续增加，从标准清晰度(SD)增加至高清晰度(HD)，并增加至超高清晰度(例如，4K2K或8K4K，也就是说，视频包括具有4096×2400个像素或7680×4320个像素的图像)。然而，并非所有接收和视频解码装置都具有访问全分辨率视频的资源(例如，网络访问带宽或CPU(中央处理单元))，特别是在视频具有超高清晰度且并非所有用户都需要访问该视频的情况下。在这样的上下文中，提供仅访问和提取视频位流的某些部分(也就是说，例如仅访问整个视频序列的某一可伸缩性(scalability)层、某些视图或某些空间子部分)的能力是特别有利的。

访问属于视频的帧的可伸缩性层、视图或空间子部分的已知机制包含将视频的各帧组织为潜在具有编码依赖性的层的排列。诸如HEVC(高效率视频编码)等的一些视频格式为时间可伸缩性层、SNR(质量)可伸缩性层和空间可伸缩性层提供支持，以用于多个视图和/或区块编码。例如，用户定义的ROI可以覆盖一个或多个连续的区块。在多视图的情况下，相比于单个视图，用户可能更喜欢立体。在可伸缩性的情况下，可以根据用户装置的例如屏幕大小或处理能力，来选择适当的层。