[发明专利]生成和修改增强现实或虚拟现实场景中对象的表示

说明书

在一个实施例中，用于生成子帧的方法可以包括访问从用户的第一视点描绘虚拟场景的渲染帧。渲染帧可以基于虚拟场景中的对象的至少一个3D模型来生成。计算系统可以基于渲染帧生成多个表面。每个表面可以位于3D空间内，并且包括视觉信息。该系统可以确定用户在3D空间中的第二视点，并确定多个表面从第二视点的可见性。该系统然后可以基于视觉信息和多个表面的确定的可见性，渲染从第二视点描绘虚拟场景的子帧。

技术领域

本公开一般涉及增强现实、虚拟现实、混合现实或混杂现实环境。

背景

人工现实是在呈现给用户之前以某种方式被调整的现实的形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。可以在各种平台(包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。

特定实施例的描述

自其存在以来，人工现实(例如，AR、VR、MR)技术一直受到响应于用户对AR/VR/MR场景的视角的突然变化而渲染AR/VR/MR对象的延迟问题的困扰。为了创建沉浸式环境，用户可能需要能够在观看场景时四处移动他们的头部，并且环境可能需要通过调整呈现给用户的视图来立即做出响应。每次头部移动都会稍微改变用户对场景的视角。这些头部移动可能很小，但偶尔发生，很难(如果不是不可能的话)预测。要解决的一个问题是头部移动可能快速发生，这要求场景的视图被快速修改以解决随着头部移动发生的视角变化。如果做得不够快，由此产生的延迟可能会导致用户体验到感觉失调，从而导致虚拟现实眩晕或不适，或者至少会中断沉浸式体验。考虑到视角的这些变化，完整地重新渲染视图可能是资源密集型的，并且可能只能以相对低的帧速率(例如，60Hz，或者每1/60秒一次)来完成。结果，通过以防止用户感知延迟并从而避免或充分减少感觉失调的足够快的速度(例如，200赫兹，每1/200秒一次)重新渲染整个场景以考虑视角的变化来修改场景可能是不可行的。

一种解决方案涉及生成和处理表示场景中的对象的“表面”，其中表面对应于一个或更多个对象，这些对象由于视角的改变而作为一个单元一起移动/平移、倾斜、缩放、扭曲或以其他方式改变外观。代替重新渲染整个视图，计算系统可以简单地从改变的视角对这些表面进行重采样，以近似对应的对象从改变的视角看将会是什么样子。这种方法本质上可以是一种有效的快捷方式，可以显著减少所需的处理，从而确保视图更新足够快，以充分减少延迟。与重新渲染整个视图不同，对表面进行重采样可能足够有效，从而可以用于在规定的时间内(例如，1/200秒内)用HMD的计算系统(例如，分离的膝上型电脑或可穿戴设备)相对有限的处理能力来修改视图。这一修改所涉及的时间尺度很小，以至于不可能有一个与HMD分离的更强大的系统来执行修改，因为HMD必须传送关于HMD当前定位和取向的信息，等待分离的系统渲染新的视图，然后从分离的系统接收新的视图。通过简单地对表面进行重采样，修改可以完全在HMD上进行，从而加快了过程。虽然本公开使用特定的时间周期(1/60秒，1/200秒)和相应的特定帧速率(60Hz，200Hz)，但是这些时间周期和帧速率仅用作示例来说明本发明，并且本公开考虑了任何其他合适的时间周期和帧速率。