[发明专利]用于360度视频的视口感知质量度量

说明书

提供了用于处理360度视频数据的技术和系统。举例来说，可获得360度视频数据，所述360度视频数据包含包括映射到几何形状的面的球面视频数据的表示。所述表示包含对应于360度场景中的定向的视口。可确定对应于所述表示的所述视口的所述定向处所述360度场景的球面表示上的窗口。基于对应于所述表示的所述几何形状的前面确定所述窗口。可随后确定所述360度场景的所述球面表示上的所述窗口的视口感知质量度量。

技术领域

本申请涉及360度视频。更具体地，本申请涉及用于提供用于360度视频的视口感知质量度量的系统和方法。

背景技术

许多装置和系统允许处理和输出视频数据以用于消费。数字视频数据包含大量数据以满足消费者和视频供应商的需求。举例来说，视频数据的消费者希望视频具有最佳的质量以及高保真度、分辨率、帧率等等。一种类型的视频是360度视频。360度视频可为检视者提供沉浸式体验。举例来说，360度视频可为检视者提供虚拟现实体验，将检视者置于虚拟地不同的时间和/或空间。作为另一实例，360度视频可为检视者提供由远程装置(例如，无人机或其它装置)捕获的视频内容的第一人视图(first-person view)。

发明内容

在一些实例中，本文描述用于确定用于360度视频的视口感知质量度量的技术和系统。视口指代可经渲染以供显示的360度场景内的特定视图。举例来说，可通过在360度场景内从不同视点或定向捕获视频帧来产生360度场景的多个视频表示。每一表示可与360度场景的不同视口相关联。此表示在本文中被称作视口表示。可限定提供360度场景的球面表示的球面几何形状。检视者可使用例如头戴式显示器、移动装置和/或其它合适的装置等360度视频显示装置检视球面几何形状。360度视频本质上为球面的，且可在提供给360度视频显示装置之前投影到几何形状的一或多个平面上。

基于视口的视频方案可试图向360度视频显示装置递送具有360度视频数据的视口表示(和相关联视口)，其以完全质量(例如，以完全分辨率)表示最接近于检视者的视场(FOV)的球面几何形状的一部分；所述360度视频数据的剩余部分以较低质量提供。表示的360度视频数据的不同质量可通过将所述表示的360度视频数据(其包含球面视频数据)投影(或映射)到几何形状的一或多个平面来提供。几何形状可包含例如截断正方锥(TSP)、等矩形形状、立方体、圆柱、十二面体和/或其它合适的几何形状。球面几何形状可由多个视口覆盖，从而允许基于检视者的头部定向和/或位置在表示之间无缝切换。在某些情况下，多个视口可在球面几何形状上重叠。视口表示之间的切换可随着检视者的头部定向越过一或多个视口切换边界而发生。

可基于球面几何形状上限定的一或多个窗口确定视口感知质量度量。可基于特定视口表示在球面几何形状上限定窗口。窗口可表示球面几何形状上的可检视区(可观察窗口)。举例来说，可至少部分地基于视口表示投影到的几何形状的前面限定窗口。使用TSP作为一实例，TSP的前面的视场(对应于视口表示的360度视频数据的最高分辨率部分)可用于限定用于所述视口表示的窗口。在某些情况下，一或多个其它因素也可用于限定窗口，例如球面几何形状上的视口之间的分隔量、头部转速、切换延迟和/或任何其它合适的因素。可随后确定窗口内的视频数据的视口感知质量度量。在某些情况下，可在球面上限定多个窗口，且可针对所有窗口确定视口感知质量度量。多个窗口可对应于可用于360度场景的视口表示中的一些或全部。在一些实例中，球面几何形状上的窗口中心与视口表示的前视口中心一致。在此些情况下，可确定视口表示的组合视口感知质量度量。

视口感知质量度量(或组合视口感知质量度量)指示当映射到几何形状时360度视频数据的质量。举例来说，视口感知质量度量可表示原始360度视频和经译码360度视频之间的比较，因此指示映射到特定几何形状的360度视频数据的译码效率。使用TSP作为一实例，当映射到TSP几何形状时不同视口表示的译码效率可基于所确定的视口感知质量度量(或组合视口感知质量度量)来提供。