[发明专利]流式传输虚拟现实视频

说明书

提供了改进的虚拟现实[VR]视频到VR呈现设备的流式传输。VR视频可以由多个流表示，每个流与场景的不同视图相关联。可以确定要由VR呈现设备呈现的场景的视图。可以标识对呈现场景的视图所需要的流子集。可以通过将多个流从流源流式传输到在流源的下游和在VR呈现设备的上游的转发节点来实现将流子集流式传输到VR呈现设备，并且响应于必须由VR呈现设备呈现的视图，选择性地将流子集从转发节点转发到VR呈现设备。照此，可以降低流之间的切换时延。即，可以持续地使针对呈现当前视图不需要但是针对呈现下一视图可能需要的流在VR呈现设备附近的网络节点处可用。

技术领域

本发明涉及向VR呈现设备流式传输虚拟现实[VR]视频的方法。本发明还涉及包括用于引起处理器系统执行所述方法的指令的计算机程序、VR呈现设备以及用于在VR视频的流式传输中使用的转发节点。

背景技术

虚拟现实（VR）涉及计算机技术的使用来在虚拟环境中仿真用户的物理存在。典型地，VR呈现设备利用头戴式显示器（HMD）来向用户呈现虚拟环境，虽然也可以使用包括但不限于全息术和洞穴自动虚拟环境的其它类型的VR显示器和呈现技术。

使用这类VR呈现设备来呈现VR视频是已知的，所述VR视频例如为适用于由VR呈现设备播放的视频。VR视频可以提供场景的全景视图，其中术语“全景视图”指代例如至少180度的视图。VR视频甚至可以提供更大的视图（例如360度），从而向用户提供更加沉浸式的体验。

VR视频可以作为单个视频流被流式传输到VR呈现设备。然而，如果要以高质量并且可能地以3D来流式传输整个全景视图，则这即使在使用现代视频编码技术时也可能要求大量带宽。例如，带宽要求可能容易地达到数十或数百Mbps。由于VR呈现设备经由带宽受限接入网络（例如，数字用户线路（DSL）或无线LAN（WLAN）连接）频繁地流式传输视频流，因此单个视频流的流式传输可能对接入网络造成大的负担，或者这类流式传输甚至可能根本不可行。例如，归因于重新缓冲，播放可能频繁中断，立即结束对用户的任何沉浸。而且，这类大的视频流的接收、解码和处理可能导致高计算负荷和/或高功耗，这两者对于很多设备、尤其移动设备是不利的。

已经意识到，VR视频的大部分可能并不是在时间上的任何给定时刻对用户是可见的。对此的原因是VR呈现设备的显示器的视场（FOV）典型地显著小于VR视频的视场。例如，HMD可以提供100度FOV，这显著小于例如VR视频所提供的360度。

照此，已经提出了仅流式传输VR视频的当前对于VR呈现设备的用户可见的部分。例如，VR视频可以在空间上被分段成多个不重叠的视频流，每个视频流提供场景的不同视图。当用户例如通过旋转他/她的头部来改变视角时，VR呈现设备可以确定需要另一视频流（此后也简称为“新”视频流）并且通过从流源请求新视频流来切换到新视频流。

不利地，用户物理地改变视角与VR呈现设备实际呈现新视图之间的延迟可能太大。该延迟此后也称为“切换时延”，并且归因于延迟的聚集而是相当大的，其中请求新视频流与新视频流实际到达VR呈现设备之间的延迟通常是最大的。其它典型较小的延迟包括归因于视频流的解码的延迟、头部旋转的测量的延迟等。

已经做出各种尝试来解决时延问题。例如，已知将多个视频流分段成部分重叠的视图，从而提供包含恰好在当前视图外部的视频内容的所谓“保护带”。保护带的大小典型地取决于头部旋转的速度和切换视频流的时延。不利地，给定特定的带宽可用性，给定一定量的可用带宽，保护带的使用降低视频质量，这是因为较少的带宽可用于对用户实际可见的视频内容。还已知例如通过预测用户的头部旋转来预测将需要哪个视频流，并提前请求新视频流。然而，如在保护带的情况下，然后还分配带宽用于流式传输不可见的视频内容，从而降低可用于流式传输当前可见的视频内容的带宽。

还已知在新视频流的传输中优先考虑I帧。在此，术语I帧指代图像组（GOP）中的可独立解码的帧。虽然这确实可以降低切换时延，但是降低量可能不足够。特别地，对I帧的优先考虑不解决在请求新视频流和新视频流的包实际到达VR呈现设备之间典型地相当大的延迟。