[发明专利]用于全向视频的等待时间报告方法和系统

说明书

本文描述的系统和方法提供了360度视频的渲染和渲染的质量监视，其中视频在不同区域中具有带有不同质量水平的多个表示。在示例性方法中，客户端设备跟踪视口相对于360度视频的位置，且将所述表示的选定集合渲染到所述视口。客户端基于视口位置自适应地添加表示并从所选集合中移除表示。客户端还测量并报告视口切换等待时间。在一些实施例中，视口切换的等待时间是可比较质量的视口切换等待时间，其表示在视口切换之后返回到与切换前视口质量相当的质量所花费的时间。

相关申请的交叉引用

本申请是美国临时专利申请号62/646,750(2018年03月22日提交)、美国临时专利申请号62/693,177(2018年07月02日提交)、美国临时专利申请62/699,501号(2018年07月17日提交)和62/737,657(2018年09月22日提交)的非临时提交，并且根据35U.S.C.§119(e)要求这些申请的权益，所有这些申请的标题都是“视口相关的视频流传输事件”，并且它们全部通过引用其整体而并入本文。

背景技术

360°视频是媒体行业中出现的快速增长的新格式。它通过VR设备的日益增长的可用性而实现，并且能够向观看者提供非常新的存在感。与传统的直线流视频(2D或3D)相比，360°视频对视频处理和递送提出了一组新的且困难的工程挑战。实现舒适和沉浸式用户体验要求高视频质量和非常低的延迟，而大视频尺寸可能是以高质量递送360°视频的障碍。

发明内容

在一些实施例中，一种由全向视频播放器执行的方法包括：将全向视频的一部分渲染到视口；记录所述视口的多个视口质量测量和相关联的测量时间；检测视口切换事件；从所述视口质量测量中选择切换前测量时间，使得(i)所选择的切换前测量时间在所述视口切换事件之前的预定切换前间隔内，以及(ii)与所选择的切换前测量时间相关联的所述视口质量测量是所述切换前间隔内的最大视口质量测量；从所述视口质量测量中选择切换后测量时间，使得(i)所选择的切换后测量时间在所述视口切换事件之后的预定切换后间隔内，并且(ii)所选择的切换后测量时间具有与所述切换前间隔内的最大视口质量测量相当(例如，至少一样大)的相关联的视口质量测量；以及报告等待时间值，其中等待时间值表示所选择的切换前测量时间与所选择的切换后测量时间之间的间隔。

在一些实施例中，全向视频包括多个子图片，且其中将全向视频的一部分渲染到视口包括渲染子图片中的至少一者的活动集合。在一些这样的实施例中，检测视口切换事件包括检测到新子图片向活动集的添加。在一些实施例中，活动集中的每个子图片与子图片质量水平相关联，并且视口质量测量是基于活动集中的子图片的子图片质量水平确定的。例如，可以使用活动集中的子图片的质量水平的加权平均来计算视口质量测量，其中，通过由相应子图片覆盖的视口的区域来对质量水平进行加权。

在一些实施例中，播放器报告切换前间隔的持续时间M和切换后间隔的持续时间N以及等待时间。在一些实施例中，播放器从服务器接收关于要使用的M和N的值的指示。

在一些实施例中，周期性地执行对所述多个视口质量测量结果和相关联的测量时间的记录。该周期可小于切换前间隔和切换后间隔的最小值。

在一些实施例中，播放器报告与所选择的切换前测量时间相关联的视口质量测量和与所选择的切换后测量时间相关联的视口质量测量。

在一些实施例中，所选择的切换前测量时间是在切换前间隔内具有等于最大视口质量测量的相关联视口质量测量的最近的切换前测量时间。在一些实施例中，所选择的切换后测量时间是具有至少与切换前间隔内的最大视口质量测量一样大的相关联视口质量测量的最早切换后测量时间。

进一步的实施例包括可操作以执行这里描述的实施例的播放器设备。在一些实施方式中，播放器设备或其他系统包括处理器、显示器和存储指令的非暂时性计算机可读存储介质，所述指令在处理器上执行时可操作以执行本文所述的方法。

附图说明

图1A是示出了可以实施所公开的一个或多个实施例的示例通信系统的系统图。