[发明专利]用于混合现实环境的直接交互系统

说明书

背景技术

混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实对象和虚拟对象的混合图像。头戴式显示设备能够创建可在其中看到虚拟和现实对象的环境的三维图。用户能够通过选择虚拟对象(例如通过看着虚拟对象)来与虚拟对象交互。一旦被选择，则用户此后可以操纵或移动该虚拟对象，例如通过抓住并移动该虚拟对象或者对该对象执行某种其他预定义姿势。

这种类型的间接交互具有缺点。例如，用户的手的位置是在由头戴式显示设备所创建的场景图(scene map)中估计的，且所估计的位置可能随时间漂移。这可能导致所抓住的虚拟对象被显示为在用户的手外。使用手的移动来选择对象有时候还是反直觉的。

发明内容

本技术的各实施例涉及一种用于与虚拟环境内的三维虚拟对象交互的系统和方法。一种用于在虚拟环境内创建虚拟对象的系统可部分包括耦合至一个或多个处理单元的透视头戴式显示设备。所述处理单元与(诸)头戴式显示单元协作能够定义虚拟对象在该虚拟环境内的场景图。

该系统可进一步包括独立于该头戴式显示设备移动的配件，诸如手持设备。在各实施例中，该手持设备可与该头戴式显示设备和/或(诸)处理单元协作以使得该手持设备可以在由该头戴式显示设备所使用的相同场景图中被对准。

该手持对象可包括固定于定位器(puck)的相机。该定位器可具有输入垫，该输入垫包括例如使用户能够选择该输入垫上的命令以用于与由该头戴式显示设备所显示的虚拟对象交互的电容式触摸屏。该相机可识别其视野中与由该头戴式显示设备上的一个或多个图像捕捉设备所识别的点公共的点。这些公共点可被用来解析该头戴式显示设备相对于该手持设备的位置，以及在同一场景图中对准这两个设备。该手持设备在该头戴式显示设备的场景图中的对准允许该手持设备与由该头戴式显示设备所显示的虚拟对象的直接交互。

在一示例中，本技术涉及一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及能够独立于所述显示设备在所述现实世界空间中移动的配件，所述配件在与所述显示设备相同的场景图内被对准。

在另一示例中，本技术涉及一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及在与所述显示设备相同的场景图内被对准的配件，所述配件能够与所述虚拟对象交互。

在一进一步示例中，本技术涉及一种与虚拟环境内的虚拟对象直接交互的方法，所述虚拟环境与所述现实世界空间共同延伸，所述方法包括：(a)定义所述虚拟环境的场景图，虚拟对象的位置在所述场景图内定义；(b)经由显示设备显示所述虚拟对象，所述显示设备的位置在所述场景图内被对准；以及(c)使用手持设备与所述显示设备所显示的所述虚拟对象直接交互，所述手持设备的位置在所述场景图内被对准。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1是用于向一个或多个用户呈现虚拟环境的系统的一个实施例的示例性组件的图示。

图2是头戴式显示单元的一个实施例的立体图。

图3是头戴式显示单元的一个实施例的一部分的侧视图。

图4是头戴式显示单元的组件的一个实施例的框图。

图5是头戴式显示单元的捕捉设备和处理单元的组件的一个实施例的框图。

图6是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。

图7是根据本公开的各实施例的手持设备的立体图。

图8是根据本公开的各实施例的作为手持设备的部分提供的定位器的框图。

图9是其中用户使用手持设备与虚拟对象交互的虚拟环境的示例的图示。

图10是示出本系统的该一个或多个处理单元、头戴式显示设备和手持设备的操作和协作的流程图。

图11是图10的流程图的步骤608的更详细流程图。

具体实施方式