[发明专利]一种基于Kinect深度信息的动态手势识别方法

权利要求书

1.一种基于Kinect深度信息的动态手势识别方法，其特征在于，具体步骤如下：

步骤1，通过Kinect传感器获取手势视频序列，将视频序列中的手势与背景进行分离，并找出每帧图像中手势的轮廓；

步骤2，将步骤1中的手势轮廓逐帧与预设开始手势进行匹配，将满足匹配要求的第一帧图像中的手势作为动态手势的开始；

步骤3，从步骤2中作为动态手势开始的那帧图像的手势轮廓开始逐帧与预设结束手势进行匹配，将满足匹配要求的第一帧图像中的手势作为动态手势的结束，从而得到一组待识别的手势轨迹；

步骤4，对步骤3中待识别的手势轨迹进行特征提取，并对提取的特征采用8个基准方向向量进行编码，最后采用DTW方法对编码后的待识别手势轨迹进行识别；

步骤2和步骤3中的手势轮廓与预设手势进行匹配的方法为：

A，根据当前手势轮廓以及k曲率算法，找到当前手势轮廓中的指尖坐标；

B，比较当前手势轮廓与预设手势中的手指数量，若手指数量不相等则舍弃当前帧，进入下一帧的匹配，否则进入步骤C；

C，根据当前手势轮廓以及掌心特征，找到当前手势轮廓中的掌心坐标；

D，根据步骤A中的指尖坐标和步骤C中的掌心坐标，计算当前手势轮廓与预设手势的相似度：

其中，N是当前手势轮廓中的手指数量，是当前手势轮廓中掌心到第i个指尖的距离与预设手势中掌心到第i个指尖的距离之差，ω_f和ω_p分别是预设的手指和掌心视差的权重，ΔC是当前手势轮廓中掌心坐标和预设手势中掌心坐标之间距离；

E，若步骤D中得到的相似度大于设定阈值，则舍弃当前帧，进入下一帧的匹配；否则当前帧满足匹配要求。

2.根据权利要求1所述的一种基于Kinect深度信息的动态手势识别方法，其特征在于，步骤1具体为：

1.1，通过Kinect传感器获取包含用户所作手势的手势视频序列；

1.2，利用深度阈值法将视频序列中的手势与背景进行分离；

1.3，根据像素深度突变的特点，找出每帧图像中手势的轮廓。

3.根据权利要求2所述的一种基于Kinect深度信息的动态手势识别方法，其特征在于，步骤1.3具体为：

1)将任一帧图像分为若干像素块，判断每个像素块的顶点的种类，顶点的种类包括在手势深度范围内且属于人手部分的有效检查像素点、在手势深度范围但不属于人手部分的无效检查像素点和不在手势深度范围的不检查像素点；

2)若相邻两个顶点分别为有效检查像素点和无效检查像素点，则两者之间的深度突变点即为手势的轮廓点，遍历所有像素块的顶点即得到手势的轮廓。

4.根据权利要求1所述的一种基于Kinect深度信息的动态手势识别方法，其特征在于，步骤4具体为：

4.1，对步骤3中待识别的手势轨迹进行特征提取，其中，待识别手势轨迹的特征是相邻两帧手势轮廓中掌心坐标所构成向量形成的向量组，其中，表示第t帧手势与第t-1帧手势轮廓中掌心坐标所构成向量，(x^t，y^t)为第t帧手势轮廓中的掌心坐标，(x^t-1，y^t-1)为第t-1帧手势轮廓中的掌心坐标；

4.2，对步骤4.1中向量组中的每个向量分别采用8个基准方向向量进行8个方向的编码，其中，的第n个方向的编码为：

式中，n＝0，1，…，7；表示第n个基准方向向量；

4.3，采用DTW方法对编码后的待识别手势轨迹进行识别：

i)构建U×V阶的DTW矩阵，其第u行第v列元素为待识别手势轨迹的第u个编码与参考手势的第v个编码之间的距离，其中，u＝1，2，…，U，v＝1，2，…，V，任两个编码a，b之间的距离dist(a，b)＝min{|a-b|，8-|a-b|}；

ii)对步骤i中的DTW矩阵添加限制；

iii)对步骤ii中添加限制后的矩阵进行粗粒度化，并在粗粒度化后的矩阵上寻找最优路径；

iv)将步骤iii中寻找到的最优路径细化到步骤ii中添加限制后的矩阵上，即得到最终的最优路径，其中，细化的范围为步骤iii中寻找到的最优路径的K个粒度之内，K为半径参数；

v)将步骤iv中得到的最终最优路径上的矩阵元素值求和，即得到待识别手势轨迹和参考手势的相似度；

vi)分别求得待识别手势轨迹与参考手势集中每个参考手势之间的相似度，若相似度的最小值小于设定阈值，则相似度最小值对应的参考手势即为待识别手势轨迹的识别结果，否则无法识别。