[发明专利]使用来自先前视角的渲染内容和非渲染内容生成新帧

说明书

公开了一种用于使用来自先前视角的渲染内容和非渲染内容构造新帧的方法。渲染来自第一视角的第一组对象的可见表面的点。存储来自第一视角的渲染内容和非渲染内容二者。使用来自第一视角的渲染内容和非渲染内容生成来自第二视角的新帧。

技术领域

本公开总体上涉及通过使用来自先前帧的非渲染内容的图像数据来构造图像的新视角，而不根据该新视角重新生成图像。

背景技术

现代计算和显示技术促进了用于所谓“虚拟现实”(VR)或“增强现实”(AR)体验的系统的发展，其中，数字再现的图像或其部分以它们似乎是真实的或可被感知为真实的方式呈现给用户。VR场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明，而AR场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围现实世界的可视化的增强。

VR和AR系统通常采用可穿戴显示设备(例如，头戴式显示器、头盔安装式显示器、或智能眼镜)，其至少松散地耦接到用户的头部并因此在用户的头部移动时而移动。如果显示系统检测到用户的头部移动，则可以更新正在显示的图像数据，以考虑头部姿势(即，用户头部的朝向(orientation)和/或位置)的变化。

作为示例，如果穿戴头戴式显示器的用户将三维(3D)对象的表示作为显示器上的图像来观看并在3D对象出现的区域周围行走，则可从每个附加视点重新生成该3D对象，使用户感觉到他们正在3D对象周围行走。如果头戴式显示器用于呈现包括虚拟空间(例如，丰富的虚拟世界)内的多个3D对象的场景，则可使用头部姿势的测量来重新生成场景以匹配用户的动态变化的头部位置和朝向并提供虚拟空间中增强的沉浸感。

通常，显示器对如何呈现颜色信息施加颜色数据保真度或分辨率。在分辨率内，每像素只能存在一个颜色值，无论从用户的视点或视角来看，有多少光子事件可与某个角度位置相对应。在不透明内容的情况下，仅保留最接近的光子事件(例如，与用户最接近的不透明对象)的结果，导致与被遮挡事件(例如，不透明对象和/或不透明对象后面的半透明对象)有关的数据全部丢失。在半透明内容的情况下，混合光子事件(例如，半透明对象和该半透明对象后面的不透明对象和/或半透明对象)的结果。在任一种情况下，如果每像素只能存在一个颜色值，则难以重构和分离原始光子事件数据(例如，半透明对象和/或不透明对象)，这将导致难以正确扭曲这些事件的位置(如果在该扭曲期间应将每个事件移动到不同位置)。例如，如果已经混合光子事件e0和e1以生成像素p0，则在扭曲期间，解决方案可是将光子事件e0移动到像素p1，将光子事件e1移动到像素p2，但是由于扭曲的输入是合并结果(例如，像素p0)，则合并的像素必须全部移动到像素p1或像素p2，并且不能拆分回到其原始光子事件e0和e1中以正确执行扭曲并且根据需要将光子事件e0移动到像素p1以及将光子事件e1移动到像素p2。

对于每一帧，仅与对象的可见表面的点相对应的图像数据被保留(即，渲染)并且被称为“渲染内容”，而与对象的不可见表面的点相对应的图像数据被丢弃(即，非渲染)并且被称为“非渲染内容”。然而，当用户将其头部移动到新视角时，用户可期望看到先前不可见的对象的表面的点。如下面进一步详细说明的，当用户移动到新视角时，任何非渲染内容都会丢失，因为应用仅保留了来自先前场景的渲染内容。这意味着，当VR和AR系统显示不同视角时，需要从每个新视角重新生成每个附加场景，对于对象的表面的点以正确的位置和朝向准确地描绘每个场景。