[发明专利]复合姿势-语音命令

说明书

技术领域

本发明涉及计算机系统的控制，尤其涉及使用结合了声音(诸如语音或拍手)和身体位置(诸如姿态或姿势)两者的复合命令的系统和方法。

背景技术

通常向计算机游戏和其他多媒体应用的用户提供用户控制，用户控制允许用户完成基本功能(诸如浏览和选择内容)以及执行更复杂的功能(诸如操纵游戏人物)。通常，这些控制通过诸如鼠标、键盘、话筒、图像源、音频源、遥控器等输入设备作为输入被提供给控制器。遗憾的是，学习和使用此类控制命令可能是困难或麻烦的，由此造成了用户与完全享受此类游戏、应用及其特征之间的障碍。

发明内容

公开了用于使用结合了声音(诸如语音或拍手)和身体位置(诸如姿态或姿势)两者的复合命令的系统和方法。多媒体对象被显示在用户界面上。用户界面的控制器包括用于捕捉由用户产生的任何声音以及用户的静态和动态身体位置(包括姿态或姿势)的捕捉设备。该控制器处理所捕捉的数据以识别身体位置命令和声音命令。

有利地，使用身体位置命令和声音命令的组合允许用分布在不同的操作状态级别上的较小命令集合来实现该系统。因此，处理身体位置命令和声音命令的组合增强了识别软件的可靠性和准确性。

例如，捕捉设备可捕捉与身体位置移动有关的输入并将该移动识别为所定义的姿势。给定所捕捉的输入，与识别出的姿势相关联的语音或声音命令的有限集合可被标识并被加载到控制器中。在接收到声音输入时，基于所加载的声音命令集合识别声音输入。最后，基于识别出的姿势以及识别出的声音命令的组合执行动作。

有利地，可在用户界面上提供上下文菜单以帮助用户列出可用的语音或声音命令，且这些上下文菜单本质上可以是分层的。例如，第一姿势可导致使用第一语音库。然而，一旦说出来自第一语音库的语音命令，另一语音命令集合可变得可用，且第二语音库可被加载到控制器中。以类似方式，可在适当时在上下文菜单中向用户介绍不同级别的语音命令。

捕捉设备可大致同时捕捉身体位置输入和声音输入。在这种情形中，身体位置输入可被用于提供用于验证声音命令的上下文，或者声音命令可被用于提供用于验证身体位置命令的上下文。此外，权重可被赋给识别出的命令以帮助提供用于决定身体位置输入和/或声音输入的正确解释的上下文。

提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。对本文公开的设备和方法的性质和优点的进一步理解可通过参考完整说明书和附图来实现。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图说明

图1示出具有用于捕捉和跟踪用户身体位置和移动以及接收用户声音输入的捕捉设备的示例性多媒体环境中的用户。

图2是示出耦合到计算设备的捕捉设备的一个实施例的框图。

图3是正被跟踪的骨架的示意表示。

图4是示出用于处理从捕捉设备接收的数据的计算系统的一个实施例的框图。

图5是示出用于处理从捕捉设备接收的数据的计算系统的另一个实施例的框图。

图6是描述用于使用语音命令与计算系统进行用户交互的过程的一个实施例的流程图。

图7A是描述用于使用手势和语音命令与计算系统进行用户交互的过程的一个实施例的流程图。

图7B是描述除了图7A中所示的那些步骤以外的用于使用手势和语音命令与计算系统进行用户交互的其他步骤的流程图。

图7C-7D是描述图7A所示的过程中用于识别手势的附加细节的流程图。

图7E是描述图7A所示的过程中用于识别语音命令的附加细节的流程图。

图8A是描述用于使用手势和语音命令与计算系统进行用户交互的过程的替换实施例的流程图。

图8B是描述根据图8A将姿势与语音命令相关的一种选项的流程图。

图8C是描述根据图8A将姿势与语音命令相关的另一种选项的流程图。

图8D是描述根据图8A将姿势与语音命令相关的另一种选项的流程图。

图9A是描述用于使用手势和语音命令与计算系统进行用户交互的过程的替换实施例的流程图。

图9B是描述用于使用手势和语音命令与计算系统进行用户交互的过程的替换实施例的流程图。

图9C是描述用于使用特定的手势和上下文语音命令与计算系统进行用户交互的过程的一个实施例的流程图。