[发明专利]用于手势检测的电子设备

说明书

一种用于检测手势的手势检测电子设备，包括IC，其电子集成以下各项：(a)第一接口，连接到(多个)成像设备，(b)第二接口，连接到受控单元，(c)数据存储装置，存储表示手势的序列逻辑模型。序列逻辑模型对预定义手姿态和/或运动的序列进行映射。(d)存储器，存储代码，(e)(多个)处理器，耦合到第一接口和第二接口、数据存储装置和存储器用于执行代码以进行以下各项：(1)接收描绘用户的移动的手的被计时的图像，(2)生成映射运行期手数据集的运行期序列，运行期手数据集各自由指示移动的手的当前状态的离散手值定义，(3)通过使用SSVM函数、与序列逻辑模型相比较而优化运行期序列，来估计哪个(些)手势最好地匹配运行期序列，(4)向受控单元发起(多个)动作。(多个)动作与基于估计而选择的(多个)手势相关联。

相关申请的交叉引用

通过引用被并入本公开的材料包括以下：

Eyal Krupka等，“Discriminative Ferns Ensemble for Hand PoseRecognition”。

背景技术

随着计算机化环境的发展，人机接口(HMI)的使用已经显著地增加。对于更自然的人机用户接口(NUI)方法，诸如例如语音和/或注视，并且更具体地，对于用于替换和/或补充传统HMI(诸如例如键盘、指点设备和/或触摸接口)的手势交互，增长的需要被标识。这样做可以用于例如消除和/或减少对于中间设备(诸如键盘和/或指点设备)的需要，支持解放手的交互、对于具有残疾的(多个)人口改进可访问性和/或提供多模式交互环境。用于标识和/或识别(多只)手的当前方案可能存在，然而，它们大多数是不成熟的，呈现不足的准确度和/或高复杂性，同时要求用于广泛的计算机视觉处理和/或机器学习的大量计算资源。将这样的方案集成到现有和/或新的产品、系统、平台和/或环境中可以呈现巨大挑战，该挑战可能是不轻易遇到的，并且可能防止这样的解决方案被采用用于大规模使用。

发明内容

根据本公开的一些实施例，提供了一种用于通过估计运行期手数据集的运行期序列来检测用户手势的电子设备，该估计是通过关于多个预定义手势来分析描绘用户的(多只)手的运动的一个或多个图像，以将运行期序列标识为有效手势。贯穿本公开，下文所提及的预定义手势指模拟(多只)手的相应手势的预定义手势表示。以相同的方式，贯穿本公开，下文所提及的手势、手姿态和/或手运动的定义、创建、构建和/或生成分别指：手势、手姿态和手运动的表示的定义、创建、构建和/或生成，这些表示模拟(多只)手的相应的手势、姿态和运动。电子设备(例如，集成电路(IC)、片上系统(SOC)、专用集成电路(ASIC)和/或被集成在父IC中的知识产权(IP)模块)执行手势检测的过程，并且可以发起动作、操作和/或命令，以操作一个或多个受控单元，例如，产品、装置和/或系统。控制单元可以是任何一个或多个设备、装置、系统和/或平台，其可以通过手势HMI控制。可选地，电子设备可以向一个或多个主机装置(例如，IC、ASIC和OSC、设备和/或系统)提供高级别手势指示。电子设备架构可以基于硬件和/或执行硬件的软件指令的组合。电子设备可以连接到一个或多个成像设备，例如，照相机、立体照相机、红外线(IR)照相机和/或深度照相机，其监测用户的移动的手，以接收描绘移动的手的一个或多个被计时的图像。电子设备可以通过一个或多个接口(例如，印刷电路板(PCB)迹线、有线接口和/或无线接口)连接到一个或多个照相机单元、(多个)受控单元和/或主机装置。电子设备可以集成执行手势检测所要求的必要的硬件部件(单元)，诸如例如一个或多个处理器、易失性存储器阵列、非易失性存储器阵列和/或专用硬件单元(诸如例如向量处理单元)。可选地，电子设备集成成像设备中的一个或多个成像设备。手势的检测基于用于表示手势的离散架构，其中手势中的每个手势包括一个或多个手姿态和/或手运动，其各自由手特征记录表示。手特征记录中的每个手特征记录通过多个离散手值中的一个或多个离散手值来定义。离散手值中的每个离散手值指示对应的手特征(特性)的值，例如，手姿态、(多根)手指弯曲、手运动和/或手的(多根)手指运动。一个或多个手特征的连续值可以通过量化连续值而由离散手值表示，以支持手势检测过程的离散架构。在若干阶段中执行手势检测。第一阶段是生成一个或多个运行期手数据集的运行期序列，一个或多个运行期手数据集各自由多个离散手值分数定义，多个离散手值分数通过使用经训练的统计分类函数(分类器)分析一个或多个被计时的图像来从移动的手推断。在第二阶段中，通过使用一个或多个SSVM函数，运行期手数据集与一个或多个序列逻辑模型匹配以产生估计项，一个或多个序列逻辑模型各自绘制表示多个手势中的一个手势的手。手势的一个或多个序列逻辑模型可以由记录(多个)手姿态和/或(多个)手运动之间的转变的有限状态机表示。在下一阶段中，优化过程可以通过电子设备执行，其中多个手势的最佳手势通过使用运行期手数据集上的估计项解析加权计算来选择，以标识最好地描述所描绘的运行期序列的最佳手势。优化可以在利用FSM内的一个或多个序列上的一个或多个分数函数增强手势FSM之后，使用例如维特比解码通过动态编程来完成。