[发明专利]基于捏和拉手势检测人工现实系统中的输入

说明书

描述了一种人工现实系统，其在人工现实环境中渲染、呈现和控制用户界面元素，并响应于检测到的用户的一个或更多个手势来执行动作。在一个示例中，人工现实系统包括被配置为捕获代表物理环境的图像数据的图像捕获设备；被配置为输出人工现实内容的头戴式显示器(HMD)；手势检测器，该手势检测器被配置为从图像数据中识别手势，该手势包括来自手的两个手指的运动以形成捏构形，以及当处于捏构形时的后续拉动运动；被配置为响应于识别手势而生成UI输入元素的用户界面(UI)引擎；以及被配置为将UI输入元素渲染为对人工现实内容的至少一些的叠加的渲染引擎。

相关申请的交叉引用

本申请要求2019年6月7日提交的美国申请第16/435,116号的优先权，该申请的内容通过引用以其整体并入本文以用于全部目的。

技术领域

本公开总体上涉及人工现实系统，例如虚拟现实、混合现实和/或增强现实系统，更具体地，涉及人工现实系统的用户界面。

背景

人工现实系统正变得越来越普遍，应用于许多领域，诸如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybridreality)、或其某种组合和/或衍生物。

典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可合并头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容可包括完全生成内容或与捕获内容(例如，真实世界视频和/或图像)组合的生成内容。在操作期间，用户通常与人工现实系统交互，以选择内容、启动应用或以其他方式配置系统。

概述

总的来说，本公开描述了人工现实系统，更具体地，描述了用于在人工现实环境中呈现和控制用户界面元素的图形用户界面元素和技术。

例如，描述了人工现实系统，其响应于检测到用户的一个或更多个预定义手势(gesture)，例如用户的手、手指、拇指或手臂的特定运动、构形(configuration)、位置和/或取向，或者预定义手势的组合，生成并渲染图形用户界面元素以显示给用户。在一些示例中，人工现实系统还可以响应于结合其他条件的特定手势的检测来触发图形用户界面元素的生成和呈现，其他条件例如是物理环境中特定手势相对于用户的当前视场的位置和取向，这可以通过用户的实时凝视跟踪来确定，或者相对于用户佩戴的HMD的姿势(pose)来确定。

在一些示例中，人工现实系统可以生成并呈现图形用户界面元素作为相对于当前正在人工现实系统的显示器内渲染的人工现实内容的叠加元素(overlay element)。图形用户界面元素可以是例如图形用户界面，例如用户与之交互以操作人工现实系统的菜单或子菜单，或者可由用户选择和操作的单个图形用户界面元素，例如切换元素(toggleelement)、下拉元素、菜单选择元素、二维或三维形状、图形输入键或键盘、内容显示窗口等。

本公开描述了用于识别用户的手与诸如用户界面(UI)捏元素的用户界面元素的交互，并且响应于这种交互，触发(trigger)或选通(gate)图形用户界面元素的呈现的技术。在一些示例中，用户可以通过手势或运动与这种UI捏元素交互，该手势或运动可以包括手的两个手指被放在一起和/或在UI捏元素附近形成捏构形(pinching configuration)，随后是当手处于捏构形时手和/或手指的后续拉动运动(pulling motion)。在一些示例中，图形用户界面元素的呈现的触发或选通可以响应于在控制物理指示笔(stylus)时识别或检测到由用户的手执行的特定动作或移动。