[发明专利]改进虚拟现实媒体内容的流传输的方法、装置和计算机程序

说明书

本发明涉及从服务器向客户端流传输表示场景的宽视图的捕获投影的媒体数据，流传输的媒体数据使得客户端能够在3D显示面上渲染宽视图、或者根据不同视点来在显示面上渲染宽视图，该渲染包括媒体数据的渲染投影。在将包括与媒体数据有关的信息的描述文件发送至客户端之后，从客户端接收用以基于该描述文件来请求媒体数据流的请求消息，并且将与所请求的媒体数据流相对应的媒体数据发送至客户端，其中该信息包括与用于产生媒体数据的宽视图的捕获有关的描述性信息和与该媒体数据的空间分区的质量级别有关的描述性信息。

技术领域

本发明通常涉及经由通信网络(例如，符合因特网协议(IP)标准的通信网络)的定时媒体数据流传输的领域。更具体地，本发明涉及用于改进经由使用超文本传输协议(HTTP)的IP网络的虚拟现实或全向媒体数据的流传输的方法、装置和计算机程序。

背景技术

视频编码是将一系列视频图像变换成紧凑的数字化位流、使得可以发送或存储视频图像的方式。编码装置用于对视频图像进行编码，其中可利用关联的解码装置来重建位流以供显示和查看。一般目的是形成与原始视频信息相比具有较小大小的位流。这有利地减少了传输网络或存储装置发送或存储位流码所需的容量。为了进行发送，一般地根据通常添加报头和校验位的发送协议来对视频位流进行封装。

经由通信网络来流传输媒体数据通常意味着由被称为服务器的主机计算机经由通信网络向被称为客户端装置的重放装置提供表示媒体呈现的数据。客户端装置通常是被实现为诸如以下等的各种传统计算装置中的任何计算装置的媒体重放计算机：台式个人计算机(PC)、平板PC、笔记本或便携式计算机、蜂窝电话、无线手持装置、个人数字助理(PDA)、游戏机和头戴式装置等。客户端装置通常在从主机接收到流媒体内容(而不是等待传送整个文件)时渲染该流媒体内容。

媒体呈现通常包括可以从服务器发送至客户端装置以由客户端装置共同播放的诸如音频、视频、文本、元数据和/或字幕等的数个媒体成分。这些媒体成分通常被单独编码成单独媒体流，接着一起或单独地封装到多个媒体片段中，并且从服务器发送到客户端装置以由后者共同播放。

通常做法的目的在于访问相同媒体成分的数个版本，使得客户端装置可以根据其特性(例如，分辨率、计算能力和带宽)选择一个版本。根据现有的专有解决方案，描述了各个替代版本，并且将媒体数据分割成小的时间片段。片段可以是包含不同媒体的压缩或原始数据的媒体片段，或者可以是用于在客户端中设置、实例化并初始化媒体解码器的初始化片段。

在经由HTTP的动态和自适应流传输的上下文中，从MPEG标准化委员会(“ISO/IEC23009-1,经由HTTP的动态自适应流传输(DASH(经由HTTP的动态自适应流传输)),Part1:Media presentation description and segment formats”)出现了被称为DASH的标准。该标准使得能够将媒体呈现的媒体内容的紧凑描述与HTTP统一资源位置(URL)相关联。这种关联通常在被称为清单文件或描述文件的文件中描述。在DASH的上下文中，该清单文件是也称为MPD文件(媒体呈现描述)的XML文件。还存在其它的基于清单的流传输解决方案，如同样使用XML文件的平滑流传输(Smooth Streaming)或者如将纯文本文件用于清单(还称为播放列表)的HTTP实时流传输。作为优选实施例，DASH用作流传输协议，然而添加在清单中的描述性信息将在这些其它解决方案中提供相同的效果。

清单文件收集用于指定与清单中描述的媒体样本有关的描述性信息的一组描述符。描述符可以是例如XML节点(元素和/或属性)那样的结构化元素，或者可以用JSON(JavaScript对象表示法)或者甚至采用纯文本格式来描述，只要关键字或注释专用于传达这些描述符即可。

通过接收清单文件，客户端装置获得各媒体内容成分的描述。因此，客户端装置获知在媒体呈现中提出的媒体内容成分的种类，并且获知要用于下载关联的初始化和/或媒体片段的HTTP URL。因此，客户端装置可以决定(经由HTTP请求)下载和播放(即，在接收到媒体片段之后解码并播放)哪些媒体内容成分。