[发明专利]增强现实系统和操作增强现实系统的方法

说明书

提供了一种增强现实系统及操作该增强现实系统的方法。允许终端用户可视化来自在周围环境中的三维场景的直接光，根据该终端用户的视点生成虚拟图像数据。确定在所述三维场景中的真实对象与在虚拟图像数据中的虚拟对象之间的空间重叠区域。确定在重叠区域中的真实对象的颜色特征。基于所确定的在重叠区域中的真实对象的颜色特征来降低在重叠区域中的真实对象与虚拟对象之间的感知对比度。在真实对象与虚拟对象之间的感知对比度已经被降低之后，将虚拟图像数据显示为虚拟图像，该虚拟对象与可视化的直接光一起，创建三维增强场景。

相关申请的交叉引用

本申请要求于2016年3月15日提交的序列号为62/308,433，代理案卷号为ML.30036.00，名称为“用于增强现实系统的直接光补偿技术(DIRECT LIGHT COMPENSATIONTECHNIQUE FOR AUGMENTED REALITY SYSTEM)”的美国临时专利申请的优先权。前述专利申请通过引用以其全部内容明确地并入此文。

技术领域

本发明一般涉及一种系统和方法，其被配置为促进用于一个或多个用户的交互式增强现实环境。

背景技术

现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以看起来真实或者可被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及以对其他实际的现实世界视觉输入不透明的方式呈现数字或虚拟图像信息，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现为对用户周围实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景2，其中AR技术的用户看到的以人6、树木8、背景中的建筑物10和天空12、以及混凝土平台14为特征的真实世界公园状设置4。除了这些项之外，AR技术的用户还感知到他“看到”站在真实世界平台14上的机器人16，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色18，尽管这些元素16、18并不存在于真实世界中。事实证明，人类视觉感知系统非常复杂，并且在其他虚拟或真实世界的图像元素中间产生促进虚拟图像元素的舒适、感觉自然、呈现丰富的VR或AR技术是极具挑战的。

VR和AR显示系统可以受益于关于观看者或用户的头部姿态的信息(即，用户头部的取向和/或位置)。

例如，头戴式显示器(或者头盔式显示器，或者智能眼镜)至少宽松地耦接到用户的头部，因此在用户的头部移动时移动。如果显示系统检测到用户的头部运动，正在显示的数据可以被更新以考虑头部姿态的变化。

作为一个示例，如果佩戴头戴式显示器的用户在显示器上观看到三维(3D)对象的虚拟呈现并围绕3D对象出现的区域行走，则可以为每个视点重新渲染该3D对象，这给用户他或她正围绕一个占据真实空间的对象行走的感知。如果头戴式显示器被用于呈现虚拟空间(例如，丰富的虚拟世界)内的多个对象，头部姿态的测量可被用来重新渲染场景，以匹配用户的动态变化的头部位置和取向，并提供更多的在虚拟空间中的沉浸感。

使能AR(即，同时观看真实和虚拟元素)的头戴式显示器可以具有若干不同类型的配置。在通常被称为“视频透视”显示器的一种这样的配置中，相机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获到的真实场景上，并且非透明显示器将该合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中用户可以透过显示系统中的透明(或半透明)元件来直接观看来自环境中真实对象的光。通常被称为“结合器”的透明元件，将来自显示器的光叠加在用户对真实世界的视图上。

与本发明最相关的是光学透视AR显示器，该AR显示器允许用户直接观看来自真实世界环境的环境光。通常，可期望的是叠加在真实世界上的虚拟对象是不透明的，使得从用户的角度来看，虚拟对象后面的真实对象或其部分被完全遮蔽，以向用户提供真实世界的体验。然而，因为来自真实世界的光与来自虚拟世界的光结合，与被虚拟世界阻挡相比，当虚拟对象或其部分与真实对象重叠时，虚拟对象或其部分可能看起来是透明的或半透明的。