[发明专利]在虚拟现实和增强现实中的几何匹配

说明书

用于虚拟现实(VR)或增强现实(AR)输出与格式化用于在2D屏幕上显示的视频输出同时进行几何匹配的方法、装置和系统，其包括值集的确定，该值集在图像处理中使用时使得AR输出对象或VR输出对象中的至少一个的屏幕外角度视场与屏幕上的对象或2D屏幕的角度视场的至少一个具有固定关系。AR/VR输出对象被输出到AR/VR显示器设备，并且通过AR/VR显示器设备上观察到的对象与出现在2D屏幕上的对应对象之间的几何匹配来改进用户体验。

相关申请的交叉引用

本申请要求2016年5月2日提交的序号为62/330,708的美国临时专利申请的优先权，该申请的全部内容通过引用并入本文。

技术领域

本公开涉及用于通过计算机配置用于在几何上和时间上与用于在二维屏幕上显示的同时期的电影输出相协调的虚拟现实或增强现实输出的数字数据的方法和装置。

背景技术

“虚拟现实”为一种术语，已经用于模拟在三维(3D)世界中沉浸的各种类型的内容，包括例如各种视频游戏内容和动画电影内容。在某些类型的虚拟现实中，用户可通过控制虚拟摄像机的位置和取向来导航通过基于计算机模型生成的3D环境的模拟，该虚拟摄像机定义二维显示屏幕上显示的2D场景的视点。这些技术的变型有时被称为“增强现实”。在增强现实设定中，显示技术显示由一个或多个数字对象或覆盖物“增强”的用户周围环境的组合。增强现实内容可用于诸如提供关于在用户周围可见的对象或人的文本“抬头”信息、将虚拟对象插入真实环境、使用户或环境与插入对象交互，或者将用户周围环境的整个外观变换成与用户真实环境兼容的幻想环境的应用。

虚拟现实(VR)和增强现实(AR)已经应用于各种类型的沉浸式视频立体演示技术，包括例如立体虚拟现实头盔。头盔和其他演示方法使用户沉浸在3D场景中。头盔中的镜头透镜使用户能够专注于安装在头盔中距离用户眼睛仅几英寸的轻巧分体式显示屏幕。分割显示的不同侧显示视频内容的左右立体视图，而用户的外围视图被阻挡。在另一种类型的头盔中，使用两个单独的显示器分别向用户的左眼和右眼显示不同的图像。在另一种类型的头盔中，显示器的视场包括眼睛的整个视场，包括周边视图。在另一种类型的头盔中，使用可控制的小型激光器、镜子或透镜将图像投影在用户的视网膜上。无论哪种方式，头盔都使用户能够更像沉浸在真实场景中一样体验显示的虚拟现实内容。在增强现实(AR)内容的情况下，观看者可体验增强内容，就好像它为增强真实场景的一部分或放置在增强真实场景中一样。

可通过头盔中检测用户头部运动的运动传感器来提供或增强这些沉浸式效果，并且相应地调整视频显示器。通过将他的头部转向一侧，用户可看到虚拟现实场景转向一侧；通过向上或向下转动他的头部，用户可在虚拟现实场景中向上看或向下看。头盔还可包括跟踪传感器，其检测用户头部和/或身体的位置，并且相应地调整视频显示器。通过倾斜或转动，用户可从不同的角度看到虚拟现实场景。这种对头部运动、头部位置和身体位置的响应性极大地增强头盔可实现的沉浸式效果。可向用户提供被放置在虚拟现实场景内或“沉浸”在虚拟现实场景中的印象。如本文所用，“沉浸式”通常包括VR和AR两者。

沉浸式头盔和其他可佩戴沉浸式输出设备对于各种类型的游戏尤其有用，这些游戏涉及当用户使用头部运动、用户身体的位置或取向、头部、眼睛、手、手指、脚或其他身体部位和/或其他输入来控制一个或多个虚拟摄像机时，用户对由渲染引擎生成的建模环境的探索。为了提供沉浸式体验，用户需要感知到与现实交互时在某种程度上类似于人类视觉知觉的运动自由。为VR制作的内容可使用为各种类型的视频游戏开发的实时渲染技术来提供这种体验。内容可被设计为具有定义的边界和规则的三维计算机模型，用于渲染为视频输出。该内容可通过立体技术来增强，以提供立体输出，有时称为“3D”，并且与响应于VR头盔的移动来管理渲染过程的VR应用相关联，以产生最终的VR体验。用户体验非常类似于被放置在渲染的视频游戏中。