[发明专利]一种动态手势识别方法

权利要求书

1.一种动态手势识别方法，其特征在于，该方法包括以下步骤：

(1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘图像；

(2)基于卷积神经网络模型提取手势特征序列；

(3)通过步骤(2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM。

2.根据权利要求1所述的动态手势识别方法，其特征在于，所述步骤(1)中间隔取样方法为：设动态手势数据序列的源帧数为n帧；表达动态手势数据序列的关键帧的帧数为x帧；这样一个手势视频序列扩展成n/x＝k个视频序列，K为向下取整的整数。

3.根据权利要求2所述的动态手势识别方法，其特征在于，在所述步骤(2)中的卷积神经网络模型由五层卷积层、三层最大池化层、两层全连接层和最后一层分类层组成，在此基础上对卷积神经网络模型每层的卷积核大小和步长做优化处理，经过卷积神经网络模型对按手形分类的数据进行反复学习与训练，将参数调到最优，使手形分类识别率达到最优。

4.根据权利要求3所述的动态手势识别方法，其特征在于，在所述步骤(2)中第一层到第二层是将220*220*3的彩色图像进行卷积核为11*11，步长4的卷积运算，接着进行池化窗口3*3，步长为1的最大池化运算；第二层到第三层进行卷积核为5*5，步长1的卷积运算，接着进行池化窗口3*3，步长为2的最大池化运算；第三、第四、第五、第六层之间均为卷积核大小为3*3，滑动步长为1的卷积操作；之后两层为全连接层，其中，第一层全连接层节点为2048个，第二层全连接层节点设置为64；第八层到第九层之间为分类层，此层用softmax分类器。

5.根据权利要求4所述的动态手势识别方法，其特征在于，在所述步骤(2)中，在方向特征上应用简化的HOG特征，将其修改成统计图像每个像素在九个方向上的个数，从而提取到9维的方向特征，并将其串联融合在从第二层全连接层提取的64维的特征向量上，生成73维的手势单帧特征，手势特征帧序列作为隐马尔科夫模型的观察序列进行训练分类。

6.根据权利要求5所述的动态手势识别方法，其特征在于，在所述步骤(3)中，对每类动态手势训练出一个HMM模型，在实验阶段针对剑桥的动态手势库中动作的类别，共训练出了九个HMM模型，然后进行测试识别；HMM模型的训练过程是给定训练样本的观察序列，对模型参数不断重估的过程，通过迭代运算对HMM模型的参数λ(A,B,π)不断调整，根据公式(1)使得观察序列O出现的概率P(O│λ)达到最大，训练一个最适合样本集的模型，

再根据Baulm-Welch算法更新来求P(O|λ)最大时的参数λ，其中a_t(i)表示给定模型λ，并且截止到t时刻产生观察概率o₁o₂…o_t时，t时刻状态为s_i的概率，a_ij表示为状态s_i到s_j的状态转移概率，b_j(o_t+1)表示t+1时刻状态为s_i条件下出现观察值o_t+1的概率，β_t+1(j)表示在已知模型λ且t+1时刻到T时刻产生观察序列o_t+2o_t+3…o_T的概率。

7.根据权利要求6所述的动态手势识别方法，其特征在于，求P(O|λ)最大时的参数λ包括以下步骤：

a)初始化HMM的参数λ(A,B,π)；

b)根据观察序列O和模型参数λ估算新模型参数根据公式(2)-(5)分别重新估计得到新的模型参数

其中，

γ_t(i)表示在给定观察序列O和HMM模型参数λ的条件下，在t时刻处于状态s_i的概率，满足ξ_t(i,j)表示在给定观察序列O和HMM模型参数λ的条件下，在t时刻处于状态s_i并且t+1时刻处于s_j的概率；

c)使用前向-后向算法计算观察序列O在模型λ下的概率P(O|λ)以及在下的概率并计算若满足ε为设定的收敛门限值，则收敛，此时的为训练得到的最接近手势样本的HMM；否则令继续执行步骤b)，直至收敛。