[发明专利]在增强或虚拟现实环境中选择对象

说明书

提供了一种在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的方法，所述环境通过显示设备(4)显示给用户(2)，其中所述方法包括向多个对象(8、10、12、14、16、18、20)中的每个对象分配手势路径，所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。

技术领域

本发明总体涉及人机交互领域。

更具体地说，本发明针对与包括真实对象和/或虚拟对象的增强或虚拟现实环境中的对象的用户交互。

因此，本发明涉及一种在环境中选择对象的方法和相应的选择设备。本发明还涉及实现本发明的选择方法的计算机程序。

背景技术

本部分中描述的内容可能在进行，但不一定是之前已经构思或进行的内容。因此，除非在本文中另行指示，否则在本部分中所描述的内容不是本申请权利要求的现有技术，并且不因包含在本部分中而被承认为现有技术。

与诸如计算机、智能电话和平板电脑等多媒体设备的常见用户交互通常依赖于用户输入，如键盘事件、鼠标事件以及诸如捏合、缩放、触摸等屏幕触摸事件。

其他交互也正变得很普遍，如语音命令和手势命令，它们经常用作间接触发，因为通常需要分析相关背景以引起用户期望的动作。

这种背景通常可以与用户当前使用的特定应用有关并有可能受到所述特定应用的限制。在这种情况下，所考虑的背景例如包括用户所做的最近查询或上次打开的菜单。

背景还可以包括直接用户环境，诸如用户在房间中的物理位置以及房间中存在的物品，因为用户可以通过他的肉眼或者使用透视设备或头戴式显示器(HMD)来感知这些信息。图1中示出了包括直接用户环境中的真实对象的背景的示例。

在图1的示例中，配备有头戴式显示器4的用户2可以与位于房间6中的大量真实对象进行交互。例如，这些对象包括放置在桌子7上的对象，例如，摄像机8和报纸10。

此外，在诸如改变现实或虚拟现实应用之类的一些情况下，背景可以包括来自用户周围的真实和/或虚拟对象。在图2中示出了这种背景的示例。

改变现实意味着增强现实(也称为混合现实)情况(即，场景中存在真实对象加上一些虚拟对象)以及改变(例如，在尺寸、颜色、存在或位置方面)用户直接看到或通过使用诸如透视眼镜等设备看到的真实对象的情况。

在图2的示例中，配备有头戴式显示器4的用户2可以与真实对象8、10交互。用户2也可以与位于房间6中的虚拟对象交互。例如，虚拟对象包括地球仪12、游戏柄14、均衡器16、角色18和齿轮20。这些虚拟对象可以与头戴式显示器4中的应用相关。例如，虚拟对象可以用作可用应用的化身，或可以被激活以触发一些相关应用程序的元素的化身，例如，用于游戏开启的游戏柄14。

在用户的直接环境中存在多个真实和/或虚拟对象的情况下，用户可能需要具体指示他打算与之交互的对象。这种对对象的选择需要非常准确，以避免由于选择错误对象而误解用户意图。

在常见游戏中，这种互动的触发一次限于几个对象。对象的数量通常与玩家使用的游戏柄的按钮数量相关联。一些游戏(例如Play Station 3和Play Station 4游戏机中的Heavy Rain Move Edition)在游戏场景中使用特定控制设备和精细调整布局的对象。

文献US2013/0328925描述了一种用于在混合现实环境中解释用户关注虚拟对象的系统。该系统包括耦接到一个或多个处理单元的透视头戴式显示设备。与该头戴式显示单元协作的处理单元可以向用户显示一个或多个虚拟对象，也称为全息对象。用户可以与所显示的虚拟对象进行交互。通过使用推理、表达手势和启发式规则，该系统确定用户可能关注且与之交互的虚拟对象。此时，系统可以相比于其他虚拟对象强调所选的虚拟对象，并以各种方式与所选的虚拟对象进行交互。