[发明专利]使用有限状态机和姿态语言离散值的手部姿态API

说明书

一种用于将计算机化的手部姿态模型与应用功能相关联的系统，包括：(a)存储多个手部姿势特征记录和手部运动特征记录的存储装置。每个手部姿势特征记录和手部运动特征记录分别由一组离散姿势值和离散运动值定义。(b)接收程序员指令的接口。(c)存储代码的存储器。(d)耦合到接口、存储装置和存储器用于执行代码的一个或多个处理器，这些代码包括：1)用于通过构建手部姿势特征记录和手部运动特征记录的独特逻辑序列来定义手部姿态的代码指令。2)用于按照代码指令将独特逻辑序列与应用功能相关联的代码指令，以用于在应用运行时期间、响应于从描绘用户的(多个)手部的移动的图像的分析检测到独特逻辑序列来发起功能的执行。

背景技术

我们这个时代在计算机化环境方面的主要技术进步已经显著增加了人机交互。通常采用输入/输出设备(诸如键盘、指示设备和/或触摸界面)的传统的人机界面(HMI)可能满足了先前的需求，但随着HMI变得高度强烈，需要更自然的界面。这样的自然界面可以采用一种或多种不同的技术来向用户提供简单、直接、友好的界面，同时避免使用中介硬件元素。此外，可以将两种或更多种自然人机用户界面(NUI)方法组合在一起，以提供允许用户简单和/或直接地与计算机化设备(例如，计算机、移动设备、计算机化机器和/或计算机化家电)交互的综合解决方案。NUI的当前实现(诸如基于姿态的HMI)可能不成熟，因此对于想要将姿态HMI集成到应用中的开发者提出了重大挫折，诸如姿态识别中的不准确性和构造姿态中的复杂性。另外，当前实现通常涉及机器学习和大量的计算机视觉处理，其需要大量的处理资源，这又可以导致应用的高成本和复杂性，从而阻止了解决方案被采用和变得广泛传播。

发明内容

根据本公开的一些实施例，提供了用于通过生成离散值的姿态数据集来定义用于控制一个或多个应用的一个或多个功能的一个或多个手部姿态的系统和方法。在整个本公开中在下文中提及的手部姿态、手部姿势和/或手部运动的定义、创建、构造和/或生成分别是指模拟(多个)手部的相应手部姿态、姿势和动作的手部姿态、手部姿势和手部运动的表示的定义、创建、构造和/或生成。姿态数据集记录一个或多个手部姿势和/或手部运动，其中一个或多个手部姿势和/或手部运动中的每个由一个或多个手部特征(特性)(诸如各种手指和/或手部状态和/或运动)的离散值的特征记录定义。一个或多个手部特征的连续值可以通过量化连续值来由离散值来表示以支持用于生成手部姿态数据集的离散架构。

姿态数据集可选地定义记录(多个)手部姿势和/或(多个)手部运动之间的转换的一个或多个序列和/或有限状态机(FSM)。姿态数据集可以使用应用编程接口(API)、文本表示(诸如例如XML和/或XAML)、对描绘手部姿态的图像序列的分析、由程序员提供的代码和/或允许用户通过使用例如(多个)图像传感器、(多个)移动传感器、图形用户界面(GUI)和/或代码或人类语言来将手部姿态与应用的一个或多个应用功能相关联的任何其他人机界面来定义。一旦与手部姿态相关联，一个或多个应用功能可以由用户在运行时通过(多个)手部姿态来发起，(多个)手部姿态由成像设备捕获，被处理以标识每个手部姿态，并且启动与所标识的(多个)手部姿态相关联的一个或多个应用功能。

(多个)手部姿态可以是面向操作的用于简化标识，并且是从用作姿态语言的构建块的基本离散姿势值和/或离散运动值而构造的。通过使用离散的姿势和运动值，使姿态构造和/或姿态分类和/或识别变得简单，使程序员应用免于机器学习、复杂的数学计算、试探法、连续值阈值计算和/或计算机视觉处理。程序员可以使用先前定义的手部姿态和/或构造用于触发一个或多个应用功能的自定义手部姿态。可选地，姿态API与HMI和/或NMI的其他手段组合以支持利用两个或更多个HMI和/或NMI接口来为用户提供综合环境的多模式人机交互。

除非另外定义，否则本文中使用的所有技术和/或科学术语具有与本领域普通技术人员通常理解的相同的含义。尽管在本公开的实施例的实践或测试中可以使用与本文中描述的方法和材料类似或等同的方法和材料，但是下面描述示例性的方法和/或材料。如果发生冲突，包括定义在内的专利说明书将控制。另外，这些材料、方法和示例仅是说明性的，并非意在限制。

附图说明