[发明专利]一种基于Leap Motion的多特征动态手势识别方法

说明书

本发明提出一种基于Leap Motion的多特征动态手势识别方法。首先通过Leap Motion对手势追踪得到深度信息，在从深度信息中提取特征向量的过程中增加对拐点的判定计数和手势位移向量的提取。然后利用特征向量训练得到HMM手势模型，最后通过对待测手势进行HMM手势模型的匹配，选择匹配率最高的作为识别结果。由于新特征体现了相似手势的区分度，从而降低了相似手势的错误识别率，提高了动态手势的整体识别率。在多个动态手势的实验验证了该方法的有效性。

技术领域

本发明涉及人机交互领域中的动态手势识别问题，尤其是涉及一种基于LeapMotion的多特征动态手势识别方法。

背景技术

人机交互技术在虚拟现实中扮演的角色地位逐渐提升。人们不仅对人机交互的实时性、识别率等标准的要求愈发严苛，而且提出人机交互方式更简单、准确率更高和参与性更强的发展需求。手势作为一种变化方式和表达含义都很丰富的肢体语言，自然成为人机交互的一种重点媒介。

手势识别分为静态手势识别和动态手势识别，相较于静态手势识别而言，动态手势识别中手部会根据时间和空间的改变而产生手势和运动轨迹的变化。动态手势识别一般有特征数据采集、手势模型训练和手势分类识别三个步骤。其中，手势模型的训练和建立是至关重要的一步。选择不同手势之间区分度较大的特征参与手势模型的训练，才能准确建立出相似手势的不同手势模型。张琪祥利用掌心位移、掌心法向量、掌心球半径和五指伸展程度作为特征训练HMM手势模型，但是一些相似手势的识别率差强人意；陈国良等人选取运动轨迹、手指弯曲度、手掌姿态和手指分开度作为特征进行手势模型训练，然而对相似单指动态手势的识别不够理想。

发明内容

针对以上相似手势识别率不足的问题，本发明提出了一种基于Leap Motion的多特征动态手势识别方法。在对动态手势进行追踪后，为进一步提升相似手势的区分度特征向量中加入拐点的判定计数和手势位移向量的提取，然后结合新特征向量进行HMM手势模型的训练和识别。本发明主要通过以下过程步骤实现上述目的：

(1)使用体感控制器Leap Motion追踪训练样本动态手势获取数据；

(2)通过对获取数据初步处理得到本方法所需特征向量；

(3)根据(2)中所得特征向量进行HMM手势模型的训练；

(4)使用体感控制器Leap Motion追踪待测手势获取与(2)中相同种类的特征向量；

(5)根据(3)中HMM模型和(4)中特征向量对待测手势进行评估，选择匹配概率最大的手势模型作为识别结果。

附图说明

图1基于HMM模型的动态手势识别框架图；

具体实施方式

本发明提取手的掌心位移、掌心法向量、运动方向变化率、掌心球半径、拐点的判定计数和位移向量角度作为构成特征向量的特征。

利用Leap Motion追踪信息提取经典特征如下：

(1)掌心位移数据的获取

从一个时刻起，到另一个时刻止，两个时刻追踪目标手的掌心坐标之间的欧氏距离即为掌心位移。计算过程如下：

其中P为掌心位移，(x_i,y_i,z_i)为掌心在i时刻的空间坐标，(x_c,y_c,z_c)为掌心在c时刻的空间坐标。

(2)手势速度的获取