[发明专利]用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统

说明书

示例性虚拟化投影生成系统(“系统”)接收多个捕获的表面数据帧序列，每个捕获的表面数据帧序列都包括颜色和深度帧，所述颜色和深度帧按照包括在与现实世界场景的不同视图相关联的多个捕获参数集中的相应捕获参数集来描绘所述现实世界场景。所述系统识别与所述现实世界场景的定制视图相关联的附加捕获参数集，所述定制视图与不同的捕获视图不同。基于所述捕获的表面数据帧序列和所述附加捕获参数集，所述系统对用于所述现实世界场景的所述虚拟化视图的虚拟化投影的颜色和深度帧进行渲染。所述系统然后提供虚拟化表面数据帧序列以包括在虚拟现实媒体内容内，所述虚拟化表面数据帧序列包括用于所述现实世界场景的所述定制视图的所述虚拟化投影的经过渲染的颜色和深度帧。

相关申请

本申请要求于2017年5月31日提交的标题为“METHODS AND SYSTEMS FORGENERATING A VIRTUALIZED PROJECTION OF A CUSTOMIZED VIEW OF A REAL-WORLDSCENE FOR INCLUSION WITHIN VIRTUAL REALITY MEDIA CONTENT(用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统)”的美国专利申请第15/610,595号的优先权，其以引用的方式整体并入本文。

背景技术

可以向虚拟现实媒体内容的用户(即，观看者)呈现虚拟现实媒体内容，以通过将用户的注意力转移到同时正在呈现的各种事物中的任何事物而使用户沉浸在用户可以体验到的交互式虚拟现实世界中。例如，在虚拟现实媒体内容的呈现期间的任何时间，体验虚拟现实媒体内容的用户可以在任何方向上环顾沉浸式虚拟现实世界，从而使用户感觉到他或她实际上正处于沉浸式虚拟现实世界中并从沉浸式虚拟现实世界内的特定位置和视角(例如，方位、视点等)来体验沉浸式虚拟现实世界。

在一些示例中，可能希望沉浸式虚拟现实世界是基于现实世界场景。例如，在虚拟现实媒体内容中表示的沉浸式虚拟现实世界的一些或者全部可以模拟风景、位置、事件、对象和/或现实世界中存在的其他主题，与只能存在于虚拟或虚构世界中相反。这样，捕获设备(例如，图像和/或视频捕获设备，诸如，照相机、摄像机等)可以用于检测、记录和/或捕获表示现实世界场景的数据，使得数据可以包括在可从其生成现实世界场景的表示的虚拟现实媒体内容中。遗憾的是，将物理捕获设备相对于现实世界场景定位，以便从可能期望的每个位置、方位、视野等捕获数据可能是不可能或不切实际的。

此外，即使要使用大量物理捕获设备来从大量位置、方位、视野等捕获数据，将由这些捕获设备捕获的所有数据包括在提供给用户的虚拟现实媒体内容中也可能是不切实际和/或低效率的。例如，数据分发限制(例如，网络带宽、设备解码能力等)、捕获的数据中的显著冗余、描述同时与虚拟现实媒体内容的不同用户有不同相关性的现实世界场景的不同细节的数据以及其他因子均可能导致使用大量物理捕获设备来捕获和分发表示现实世界场景的数据是不切实际和/或低效率的。

附图说明

附图示出了各种实施例，并且是说明书的一部分。示出的实施例仅是示例，并且不限制本公开的范围。在所有附图中，相同或相似的附图标记表示相同或相似的元件。

图1示出了根据本文描述的原理的用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的示例性虚拟化投影生成系统。

图2示出了根据本文描述的原理的示例性配置，在该示例性配置中，表示示例性现实世界场景的数据是从现实世界场景的不同视图捕获的。

图3A示出了根据本文描述的原理的捕获颜色和深度帧以包括在表示图2的现实世界场景的表面数据帧序列中的示例性捕获设备。

图3B示出了根据本文描述的原理的在由图3A的捕获设备捕获的颜色帧中表示的颜色数据的示例性图形描绘。

图3C示出了根据本文描述的原理的在由图3A的捕获设备捕获的深度帧中表示的深度数据的示例性图形描绘。