[发明专利]集成话音命令模态的用户界面

说明书

技术领域

本发明涉及用户界面，尤其涉及自然用户界面系统和方法。 

背景技术

在过去，诸如计算机游戏和多媒体应用等计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵游戏人物或应用的其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供自然用户界面(“NUI”)。使用NUI，用户姿势和语音(speech)检测、解释并将被用于控制游戏人物或应用的其他方面。 

NUI系统允许用户经由口头命令来与系统进行交互。当前，向用户显示提供可用命令列表的菜单或新页面。然而，这样的菜单遮挡了用户正试图操作的原始内容。如果命令列表是长的，则它可能遮挡整个屏幕或将用户定向到不同页面，从而造成将命令从其上下文中取消关联。这有损于对NUI系统的用户体验。 

发明内容

概略而言，本技术涉及多模自然用户界面系统。在第一模态中，与自然用户界面相关联的屏幕显示图形图标，用户可使用姿势和话音(voice)命令用图形图标进行交互。在第二个语音揭示模态中，屏幕突出显示具有相关联的话音命令的所有图形对象。突出显示的图形对象可以是文本，使得当用户说出突出显示的文本时，与口头命令相关联的动作被执行。突出显示的图形对象可另选地是除文本以外的对象。用户可以用口头命令、对屏幕上图标的选择、或通过执行NUI系统可识别的某一物理姿势来进入或退出语音揭示模态。 

在一个示例中，本发明涉及一种配置包括与显示器上所提供的一个或多个可视元素相关联的语音命令的自然用户界面的方法。该方法包括以下步骤：(a)显示具有相关联的语音命令的至少一个可视元素，所述语音命令结合该 至少一个可视元素来执行自然用户界面中的某命令；以及(b)显示与该至少可视元素中的一个可视元素相关联的可视指示符，该可视指示符指示该可视元素具有相关联的语音命令，并且该可视指示符将该可视元素与不具有相关联的语音命令的可视元素区分开。 

在又一示例中，本发明涉及一种计算机可读存储介质，该计算机可读存储介质用于对处理器进行编程以执行一种提供包括与显示器上所提供的一个或多个可视元素相关联的语音命令的多模自然用户界面的方法。该方法包括以下步骤：(a)在操作的正常模式期间，显示具有相关联的语音命令的至少一个可视元素，该语音命令结合该至少一个可视元素来在自然用户界面中执行某动作；(b)接收从操作的正常模式切换到语音揭示模式的指示；以及(c)在步骤(b)中接收到该指之后，显示与该至少可视元素中的一个可视元素相关联的可视指示符，该可视指示符指示该可视元素具有相关联的语音命令。 

在又一示例中，本发明涉及一种具有图形用户界面和可用于与该图形用户界面进行交互的自然用户界面的计算机系统，以及一种提供该图形用户界面和该自然用户界面的方法，包括(a)在该图形用户界面上显示至少一个可视元素，该至少一个可视元素具有相关联的语音命令，该语音命令结合该至少一个可视元素来执行该自然用户界面中的某动作；(b)经由该自然用户界面接收进入语音揭示模式的指示；以及(c)在步骤(b)中接收到该指示之后，用突出显示来显示该可视元素，该突出显示指示该可视元素具有相关联的语音命令。 

提供发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。 

附图说明

图1示出了目标识别、分析和跟踪系统的示例实施例。 

图2示出了目标识别、分析和跟踪系统的进一步示例实施例。 

图3示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实 施例。 

图4是呈现用于揭示哪些命令可用作语音命令的常规系统的屏幕显示的图示。 

图5A和5B是本系统的一实施例的操作流程图。 

图6是根据本系统的一实施例的屏幕显示的图示，其中具有相关联的语音命令的可视元素被突出显示。 

图7是根据本系统的一实施例的屏幕显示的图示，其中具有相关联的语音命令的文本和其他对象被突出显示。 

图8是根据本系统的一实施例的屏幕显示的图示，其中文本对象被添加到图形对象，且具有相关联的语音命令文本对象被突出显示。 

图9是根据本系统的一实施例的屏幕显示的图示，其中显示了具有相关联的语音命令的可视元素但没有突出显示。