[发明专利]姿态视觉构建器工具

说明书

一种用于创建手部姿态表示的系统，包括：(a)用于与用户交互的接口。(b)存储多个离散姿势值和离散运动值的存储装置。(c)存储姿态视觉构建器代码的存储器。(d)被耦合到接口、存储装置和存储器以执行姿态视觉构建器代码以允许用户创建手部姿态的一个或多个处理器。姿态视觉构建器代码包括：(1)用于向用户呈现显示分级菜单驱动界面的GUI的代码指令。(2)用于使用分级菜单驱动界面从用户迭代地接收用户指令、以用于通过定义一个或多个手部姿势特征记录和手部运动特征记录来创建手部姿态的逻辑序列的代码指令。(3)用于生成分别通过离散姿势/运动值来定义一个或多个手部姿势/运动特征记录的代码分段的代码指令。

背景技术

手部姿态作为交互系统的人机接口(HMI)的越来越多的使用在制定简单、用户友好且易于实现的姿态构建和/或识别系统方面呈现出主要挑战。与诸如例如键盘、触摸屏、数字表面和/或指点设备(诸如鼠标等)等传统HMI接口不同，姿态交互是其中手部姿态由用户在空间中在机器前面执行的3D接口。因为每个手部姿态由多个特征(特性)定义，手部姿态的空间特性和视觉性质迫使用于创建姿态HMI的手部姿态的工具(例如，集成开发环境(IDE))采用复杂的接口。而且，不同的用户可以执行彼此不同的交互手部姿态，这使得统一的通用姿态HMI的实现更加困难。当前可用的姿态创建工具可以采用允许程序员定义手部姿态的特征的用户界面、程序员可以用来表达手部姿态和记录它的成像设备、和/或程序员用以绘制手部姿态的触摸屏和/或数字表面。然而，当前的姿态创建工具对于程序员而言非常复杂，这使得姿态HMI的实现困难且耗时。此外，创建的姿态HMI可能无法涵盖由姿态HMI的不同用户执行的多种手部姿态，因此不能提供可靠的HMI。

发明内容

根据本公开的一些实施例，提供了用于创建一个或多个手部姿态的系统、方法和工具，这些手部姿态将由姿态HMI用来与计算机化的机器(例如，计算机、膝上型计算机、智能电话、平板电脑和/或与成像设备(例如，相机、深度相机、立体相机、红外线(IR)相机等)集成和/或附接到成像设备的任何其他基于处理器的机器或设备，其中成像设备监测用户的手部运动)交互。在整个本公开中在下文中提及的手部姿态、手部姿势和/或手部运动的定义、创建、构造和/或生成分别是指模拟手部相应的手部姿态、姿势和运动的手部姿态、手部姿势和手部运动的表示的定义、创建、构造和/或生成。手部姿态的创建使用姿态视觉构建器工具来进行，姿态视觉构建器为程序员提供平台和/或环境，例如基于图形用户界面(GUI)的IDE。姿态视觉构建器工具使得程序员能够使用创新、简单且高度直观的基于分级菜单的界面来创建一个或多个手部姿态。姿态视觉构建器工具利用简单的手部姿态语言，其中使用有限数目的离散姿势和运动值构件块分别定义每个手部姿势和/或运动。姿态视觉构建器工具以代码指令和/或所创建的手部姿态的数据表示的形式(诸如例如，Java脚本对象表示法(JSON)、可扩展应用标记语言(XAML)和/或可扩展标记语言(XML))来生成软件代码分段。姿态视觉构建器工具可以与姿态库和/或姿态应用编程接口(API)耦合，为程序员提供直接分发路径，以用于将所创建的一个或多个手部姿态共享和/或钩挂到一个或多个应用的一个或多个功能以采用姿态HMI。

手部姿态中的每一个由描述手部姿态的特征(特性)的离散值的姿态数据集定义，例如手部姿势、手部和/或手指空间位置、手指彼此相对位置、手指接触，手部和/或手指运动轮廓和/或运动特性。姿态数据集记录一个或多个手部姿势和/或手部运动，其中一个或多个手部姿势和/或手部运动中的每一个由手部特征的离散值的特征记录定义。姿态数据集可选地定义记录手部姿势和/或手部运动之间的转换的一个或多个序列和/或有限状态机(FSM)。姿态的离散性质允许通过有限数目的特征的表示来容易地构造每个手部姿势和/或手部运动。另外，因为每个手部姿态被降低到最小表示，离散值实现可以大大降低多个用户之间的姿态变化的敏感度。此外，离散实现的最小表示在运行时可以简化手部姿态的识别、标识和/或分类，避免了使用机器学习和密集型计算机视觉处理。