[发明专利]非线性媒体的基于客户端的自适应流式传输

说明书

用于非线性媒体的基于客户端的自适应流式传输的方法包括接收包括限定回放时段的元数据的清单文件，回放时段包括至少一个适配集；元数据还包括至少包含与第一回放时段的第一适配集关联的第一区域描述符的空间回放信息，第一区域描述符限定目的地标识符和第一适配集的视频帧中的第一区域，目的地标识符用信号通知客户端：第一区域被链接到第二适配集；客户端通过请求网络节点传输第一适配集的分段而使用元数据来回放第一适配集的视频数据；在所请求分段的回放期间接收或确定与第一适配集的视频帧中的至少第二区域关联的信息，第二区域限定客户端的用户的ROI；客户端基于第一和第二区域来选择用于在第一适配集的回放结束之后回放的第二适配集。

技术领域

本发明涉及包括非线性全方位视频的非线性媒体的自适应流式传输，并且特别地但不排他地涉及用于非线性媒体的基于客户端的自适应流式传输的方法和系统、用于非线性媒体的基于客户端的自适应流式传输的客户端装置和服务器装置、使得能实现非线性视频的基于客户端的自适应流式传输的数据结构以及使用这样的方法的计算机程序产品。

背景技术

相机和图像处理技术二者中的进步不仅使得能够以越来越高的分辨率进行记录，而且使得能够将多个相机的输出拼接在一起。这样，一组相机可以一起以高于8Κx4Κ的分辨率、以全景和/或全方位格式进行记录。视频表示（representation）包括被投影在曲面上的视频，诸如全方位视频或360度视频（其可被称为球面视频），或者更具体的视频表示，诸如柱面视频。这些新的视频表示使得能实现新的用户体验，诸如虚拟现实（VR）、增强现实（AR）和混合现实，所述新的用户体验当前在该行业中增加势头。然而，流式传输高质量的非平面视频内容仍然带来挑战，所述挑战包括所需的高带宽要求和适合于用比特流表示球面内容的格式。

随着这些新的视频表示的日益普及，开发了新应用以用于进一步增加用户体验的沉浸感。这些新应用中的一个是所谓的交互式360视频应用，其有时被称为非线性视频的回放。US2017/0053675描述了一种被适配成创建交互式360度视频文件的内容创建系统，所述交互式360度视频文件包含多个被链接的360度视频剪辑。内容创建器系统使得能够将第一360视频剪辑中的链接插入到第二360视频剪辑。该链接可具有所谓的“热点”的形式，通常是以视频上的图形覆盖的形式的指示符，其可以由用户激活。这样，可通过使用光标激活热点来回放内容，所述光标跟随佩戴HMD的用户的观看方向，即视点。内容创建器系统因而使用热点链接了360个视频剪辑，并通过将被链接的剪辑转码为单个交互式360视频文件而创建了一个交互式360视频文件。这样，360视频内容可以经由不同的回放路径来回放。

与引用的内容创建器系统相关的问题是它不生成可以以可伸缩的方式分发并且与现有技术水平的流式传输协议（包括例如比如MPEG DASH和HLS之类的HTTP自适应流式传输协议）和诸如内容分发网络（CDN）之类的内容分发系统兼容的内容。这样的特征对于大规模内容递送而言是必不可少的。为了高效的内容流式传输而优化CDN，其中内容文件的不同部分（例如流行和非流行内容、广告内容、频繁使用的图块流等）以分布式方式（即在网络中的不同位置处）存储和/或缓存。涉及内容创建器系统的另一问题是该技术在创作方面不太灵活。一旦视频文件被创建，链接和内容（视频剪辑）就被固定。该技术不允许灵活创作和动态引入360视频的新链接块和/或在回放期间移除到现有360视频的链接。在个性化内容（例如定向广告）的背景下，缺少这样的功能性特别不利，所述个性化内容需要在回放期间动态插入媒体。