[发明专利]在虚拟现实中渲染扩展视频

说明书

一种用于变换扩展视频数据以在虚拟现实中显示的方法处理数字扩展视频数据，以用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示。该方法包括由执行渲染应用程序的计算机访问定义包括中心屏幕和辅助屏幕的虚拟屏幕的数据，其中辅助屏幕中的每个在其各自的区域中心处的切线与中心屏幕在其中心区域处的切线以在75度至105度的范围内的相等角度相交。该方法包括至少部分地通过在虚拟屏幕中的对应虚拟屏幕上渲染数字扩展视频来准备虚拟扩展视频数据；并将虚拟扩展视频数据保存在计算机存储器中。对应的回放方法和设备在虚拟现实中显示处理的数据。

技术领域

本公开涉及用于在虚拟现实中使用扩展视频数据的方法和设备。

背景技术

“扩展视频”是指使用三个屏幕呈现电影内容的术语：中心屏幕和中心屏幕每侧上的辅助屏幕。每个辅助屏幕都朝向观众成角度，而中心屏幕以传统方式面向观众。辅助屏幕沿着礼堂的侧壁部分地围绕电影观众，提供更加沉浸式的体验。传统上，电影内容仅针对位于礼堂前壁上的一个屏幕产生，该屏幕成为扩展视频设置中的中心屏幕。最近，已经产生扩展内容以用于在扩展视频设置的辅助屏幕上显示。一种这样的扩展视频内容以名称ScreenX^TM销售。如本文所用，“数字扩展视频数据”表示用于在中心屏幕和中心屏幕的每侧上一个的至少两个相对的辅助屏幕上的电影呈现的视频数据，其中在数字视频格式方面每个屏幕的视频数据与用于其他屏幕的视频数据不同。

“虚拟现实”是已经用于模拟在三维(3D)世界中沉浸的各种类型的内容的术语，包括例如各种视频游戏内容和动画电影内容。虚拟现实(VR)和增强现实(AR)已经应用于各种类型的沉浸式视频立体呈现技术，包括例如立体虚拟现实头戴式耳机(headset)。头戴式耳机和其他呈现方法使用户沉浸在3D场景中。头戴式耳机中的透镜使用户能够专注于安装在头戴式耳机中的轻量分体式显示器屏幕，其距离用户的眼睛只有几英寸。分体显示器的不同侧示出视频内容的左右立体视图，而用户的周边视图被阻挡。在另一种类型的头戴式耳机中，两个单独的显示器分别用于向用户的左眼和右眼示出不同的图像。在另一种类型的头戴式耳机中，显示器的视野涵盖眼睛的整个视野(其包括周边视图)。在另一种类型的头戴式耳机中，使用可控制的小型激光器、面镜或透镜将图像投影在用户的视网膜上。无论哪种方式，头戴式耳机使用户能够更好地体验所显示的虚拟现实内容，就好像观看者沉浸在真实场景中一样。

可以通过头戴式耳机中检测用户头部的运动的运动传感器来提供或增强VR的沉浸式效果，并相应地调整(多个)视频显示器。通过将其头部转向一侧，用户可以看到向一侧移动的虚拟现实场景；通过向上或向下转动头部，用户可以在虚拟现实场景中向上或向下查看。头戴式耳机还可以包括跟踪传感器，其检测用户的头部和/或身体的位置，并相应地调整(多个)视频显示器。通过倾斜或转动，用户可以从不同视点看到虚拟现实场景。这种对头部移动、头部位置和身体位置的响应大大增强头戴式耳机可实现的沉浸式效果。在一些实施方式中，用户还可在场景中移动。可以向用户提供被放置在虚拟现实场景内或“沉浸”在虚拟现实场景中的印象。如本文所用，“沉浸式”包括VR和AR两者。

完全沉浸式的高质量内容有时比为单个屏幕准备的内容更难以产生，诸如当将视频镜头合并到实际布景时。同时，与单屏内容相比，VR内容的当前市场规模相对较小。这些经济现实降低了VR用户的高质量娱乐的可用性。增加VR用户可用的内容标题数量的一种方法是重新格式化传统的电影内容，以便在以VR兼容数据格式建模的“虚拟电影院”中的“虚拟屏幕”上显示，例如通过变换屏幕的视频纹理中的2D或3D视频内容，其与屏幕(针对其产生内容)的比例和几何形状相匹配。这种可用内容的重新格式化是相对成本有效的。因此，为方便起见或者为了避免庞大的家庭影院设备的成本，用户可以使用VR头戴式耳机享受与电影院或家庭影院可用的内容相同的内容。

在VR中观看传统内容的用户的印象类似于在传统影院或家庭影院中观看内容，同时，如果需要的话还为内容生产者提供增强VR环境的一些或全部内容的能力。将屏幕放置在距渲染视点一定的虚拟距离处，并且可选地在视点和屏幕之间渲染影院座位，产生了在影院中的印象。为了适应屏幕尺寸，VR屏幕空间的一部分缺少视频内容，降低了VR体验的沉浸式质量。