[发明专利]用于人机界面的控制柄交互

说明书

背景

在过去，诸如计算机游戏和多媒体应用之类的计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供人机界面（“HCI”）。使用HCI，检测、解释用户姿势并将其用于控制应用的游戏角色或其他方面。

在HCI系统中，手的姿势通常被用来控制与游戏或其他应用的交互。现有姿势识别系统通常集中于基于位置的指向姿势或基于运动的象征姿势。对于指向姿势，用户指挥屏幕上的追随该用户的手的光标。这样的姿势识别系统具有各种缺陷，包括抖动和手移动与光标位置之间的等待时间（例如，延迟时间）以及有限的用户界面（UI）密度。对于基于运动的象征姿势，解释用户的移动，并且如果匹配预定义的姿势，则采取某相关联的动作。基于运动的系统具有若干缺陷，包括虚假肯定、姿势冲突、以及不能提供立即启示和反馈（必须首先识别一特定姿势）。

发明内容

本发明技术一般涉及一种使用屏上图形控制柄来控制用户与屏上对象之间的交互的系统。在各实施例中，控制柄是与给定对象相关联地显示在显示画面上的UI对象。控制柄定义用户可对对象执行什么动作，如滚动遍历文本或图形导航菜单。用户占用控制柄并执行姿势来操纵该控制柄，如在显示屏上向上、下、左、右来移动该控制柄。这一操纵造成在对象上执行相关联的动作。提供启示（affordance）来引导用户通过与控制柄进行交互的过程。

在一实施例中，本发明技术涉及耦合到用于捕捉用户位置并提供人机界面的捕捉设备的计算环境。这一系统执行一种便于用户与用于人机界面的显示画面的区域进行交互的方法，包括以下步骤：(a)生成与用户界面的该区域相关联的控制柄；(b)检测用户占用了在所述步骤(a)生成的控制柄；(c)接收用户的姿势的指示；以及(d)响应于所述步骤(c)对用户界面的所述区域执行动作。

又一实施例涉及耦合到用于捕捉用户位置并提供人机界面的捕捉设备的计算环境的处理器可读存储介质，该处理器可读存储介质将处理器编程成执行一种便于用户与人机界面的显示画面的动作区域进行交互的方法。这一实施例包括：(a)在显示画面上显示与用户界面的该区域相关联的图形控制柄，该图形控制柄提供用于占用该动作区域的显式占用点并且该图形控制柄定义在接收到用户的预定义的姿势之后用户可如何与该动作区域进行交互；(b)作为检测到用户位置的结果，接收用户正追踪控制柄的指示；(c)在用户追踪到控制柄时，建立对该控制柄的占用；(d)接收用户的姿势的指示；以及(e)当在所述步骤(d)接收到的姿势指示与所述步骤(a)的预定义姿势相匹配时，对显示画面的动作区域执行由该图形控制柄所定义的动作。

又一实施例涉及一种人机界面，包括：显示画面上的动作区域，所述动作区域能够进行以下操作中的至少一个：执行动作和使得对它执行动作；显示在显示画面上并与该动作区域相关联的控制柄，该控制柄提供对动作区域的显式占用点并定义用户可如何与该动作区域进行交互；以及显示在显示画面上的、与该控制柄相关联的、用于定义用户可如何操纵该控制柄的导轨（rail）。

附图简述

图1示出了目标识别、分析和跟踪系统的示例实施例，其中用户正在与该系统进行交互。

图2示出包括根据本发明技术的一实施例的控制柄的示例屏幕显示。

图3示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的一个示例实施例。

图4A示出了可用于本发明技术的目标识别、分析和跟踪系统中的计算环境的示例实施例。

图4B示出了可用于本发明技术的目标识别、分析和跟踪系统中的计算环境的另一示例实施例。

图5是本发明技术的一实施例的操作流程图。

图6是控制柄吸引光标的操作流程图。

图7是本发明系统识别一姿势的操作流程图。

图8示出包括根据本发明技术的一实施例的控制柄和导轨的示例屏幕显示。

图9示出包括根据本发明技术的又一实施例的控制柄和导轨的示例屏幕显示。

详细描述