[发明专利]用于加强用户的增强现实体验的方法、设备和系统

说明书

方法、系统和用户界面加强在外部环境内具有移动自由度的用户的增强现实体验。创建局部用户界面并在第一可观看区域中向所述用户显示所述局部用户界面。创建全局用户界面并在第二可观看区域中向所述用户显示所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远。将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

相关申请的交叉引用

本申请要求2017年2月10日提交的标题为PAIRED LOCAL AND GLOBAL USERINTERFACES FOR AN IMPROVED AUGMENTED REALITY EXPERIENCE的美国专利申请序列号15/429,781的优先权，所述专利申请出于所有目的在此像本申请中全面阐述一样以引用的方式并入。

背景技术

用于增强现实系统的一类用户界面由通过专用光学显示装置产生的可观看虚拟图像构成。在一些情况下，装置安装在用户头上或周围；在其他情况下，装置可以是手持式装置，诸如智能手机。用户通常通过做手势，像指向、轻扫或手指、手或手臂的其他受控动作来与用户界面中的一个或多个图像元素交互。

这种当前的增强现实系统通常创建一个或多个虚拟图像，所述虚拟图像构成可由用户观看的单个界面。在头戴式显示装置的情况下，系统控制器通过控制显示装置的像素而实现这种情形，用户经由显示装置观看外部环境。构成用户界面的图像在用户看来似乎定位在显示屏后方某一距离处，但足够近以便方便地按需要进行操纵。当前系统通常还采用一些手段来追踪用户身体的特定部分并相应地移动用户界面，使得界面相对于该身体部分保持静止。这允许用户方便地观看界面并与界面交互，而不管用户自己的位置的改变。在许多情况下，追踪的是用户的头部位置，使得即使当头倾斜或旋转时，用户界面仍在对于用户眼睛方便的定向上和距用户眼睛方便的距离处呈现。在一些其他情况下，可以追踪用户的腰部位置，使得当用户从一个位置行走到另一位置时，用户界面对应地移动，从而保持靠近用户。

然而，可以设想增强现实应用，无论是在教育、商务还是游戏中，在所述应用中在某些位置处提供由位于外部环境中的一个或多个虚拟图像构成的第二用户界面将为有帮助的，所述位置相对于该环境的实体物体或特征为固定或静止的，而不管用户的位置的改变。相关的期望的特征将为允许用户致使图像从可以称作“局部”界面的第一标准用户界面漂移到第二或“全局”用户界面的构件，或在相反方向上从全局界面漂移到局部界面，在第一标准用户界面中图像与用户有效地相联系，在第二用户界面中图像与外部环境有效地相联系。

当前可用的增强现实系统中的用户手势的追踪和解释通常取决于使用红外投影仪和红外相机来捕获关于深度、形状和运动的必要信息。这将这些系统的使用范围限于相对低环境光的环境，通常是室内，而不是非常明亮或自然光的室外环境。如果可以在不使用IR成像的情况下收集感兴趣的信息，那么这些系统可能得到显著改进，从而允许系统成功地在室外以及室内使用。

因此，需要向用户提供配对的局部用户界面和全局用户界面的改进的增强现实系统和方法，用户可以在广泛的环境光等级内在室内或室外环境中方便地并且直观地与所述局部用户界面和全局用户界面交互。将需要使得用户能够按需要在两个界面之间移动图像，但是局部界面中的图像的默认状态将相对于用户的身体或头保持静止，而全局界面中的图像的默认状态将相对于外部物理环境保持静止。另一个期望的特征将为允许用户易于改变可观看的方面，诸如局部界面和全局界面中的任一者或两者中的图像的形状大小或维度(2D或3D)。

发明内容