[发明专利]高效的沉浸式流传输

说明书

通过将切换点和/或部分随机访问点或传达指示帧到场景映射相对于第一组一个或多个区域保持恒定同时对另一组一个或多个区域变化的映射信息元数据的点的概念引入到沉浸式视频环境中，可以使沉浸式视频流传输更高效。特别地，为沉浸式视频流传输所涉及的实体提供了利用沉浸式视频材料经常相对于帧中的第一组一个或多个区域示出恒定的帧到场景映射，但是在仅相对于另一组一个或多个区域的帧到场景映射方面有所不同的情况的能力。

技术领域

本申请涉及用于或适合于沉浸式视频流传输的概念。

背景技术

近年来，从许多行业的参与可以看到，围绕虚拟现实(VR)的活动已非常活跃。动态HTTP自适应流传输(DASH)有望成为360视频的主要服务之一。

有将360°视频发送到客户端的多种流传输方法。一种简单的方法是与视口无关的解决方案。通过这种方法，整个360°视频都以视口不可知的方式传输，即不考虑当前用户的观看方向或视口。这种方法的问题在于，在用户视口之外而最终没有呈现给用户的像素占用了带宽和解码器资源。

通过使用视口相关的解决方案，可以提供更高效的解决方案。在这种情况下，发送给用户的比特流将针对呈现给用户的图片范围(即，视口)包含更高的像素密度和比特率。

当前，有两种典型方法用于视口相关的解决方案。从流传输的角度来看，例如在基于DASH的系统中，用户在两种视口相关方法中都基于当前观看方向选择适配集。

两种视口相关的方法在视频内容准备方面有所不同。一种方法是通过使用将焦点放在给定方向上的投影(例如，图1的左侧，摄像机中心/投影表面已移动的ERP)或通过在视口不可知投影上使按某种区域打包(RWP)并且(例如，基于常规ERP的图1的右侧)从而定义比其他非优选视口具有更高分辨率的投影或优选视口的图片区域，来对不同视口的不同流进行编码。

视口相关的另一种方法是以多个比特流的形式提供内容，这是将整个内容拆分为多个图块的结果。然后，客户端可以下载与完整的360度视频内容相对应的一组图块，其中每个图块的保真度(例如，在质量或分辨率方面)都不同。这种基于图块的方法可产生图片区域的质量高于其他区域的优选视口视频。

为了简单起见，下面的描述假定非图块的解决方案适用，但是下面进一步描述的问题、效果和实施例也适用于图块的流传输解决方案。

对于任何一个视口，我们都可以得到一个流，其解码后的图片如图2所示。图2在左侧显示了全景视频，并在其中描绘有两个不同的视口VP1和VP2作为不同视口的示例。对于两个视口位置，准备了相应的流。如图2的上半部分所示，视口VP1的流的已解码图片包括将VP1编码到其中的一个较大的部分，而在图片范围左侧显示的另一部分则包含了在这里是经过旋转和缩小的整个全景视频内容。视口VP2的其他流具有以基本相同的方式组成的已解码的图片，即，相对较大的右侧部分已将VP2编码到其中，而其余部分在其中编码了全景视频的旋转和缩小版本。

图片是如何由原始完整内容组成的，通常由元数据定义，例如按区域打包的详细信息，它们以视频基本流中的SEI消息的形式或以ISO基本媒体文件格式的框的形式存在。以OMAF环境为例，图3示出了通常在客户端侧的沉浸式视频流环境中进行协作的实体的示例。图3示出了沉浸式视频流客户端装置，在此示例性地描绘为与OMAF-DASH客户端模型相对应。DASH检索到的媒体段和清单文件或媒体呈现描述进入由虚拟现实应用程序形成的客户端基本组件，该虚拟现实应用程序经由元数据从传感器接收传感器数据(该传感器数据涉及头部和/或用户的眼睛移动以移动视口)，并控制媒体相关组件并与之交互，媒体相关组件包括负责获取媒体段的DASH访问引擎、负责对作为由DASH访问引擎转发的检索到的媒体段的串联产生的结果的文件格式流中包含的编码视频流进行解包和碎片整理的DASH媒体引擎、以及最终经由例如平视显示器等将视频渲染给用户的渲染器。