[发明专利]一种实时手势识别的方法

说明书

技术领域

本发明涉及图像处理技术领域，特别是一种实时手势识别的方法。

背景技术

手势识别是指对人手部形态、位移等进行持续采集、建模并识别，从而将获得的手势信息转换为对应的指令，用来控制实现某些操作。动态手势识别是静态手势识别的结合，是由一系列的手势动作组成，重点是获取视频流中的手部信息，提取手势特征与手势运动轨迹，从而进行动态手势识别。

物联网时代，人机交互不再是机械性的按键交互、触屏交互，而是会以语音交互、手势交互等更为简单便捷的方式呈现。动态手势的交互方式更加符合人们日常的交流习惯，同时它扩展以实现更多、更丰富的语义，填补了图形、机械、触屏交互与自然语言交互之间的空白，因此该识别技术在人机交互领域的发展中有着重要的研究意义以及广阔的应用前景。

尽管现有的基于视觉的动态手势识别技术取得了很大进展，但是还没有真正应用于复杂环境并可以广泛普及的系统。主要原因在于真实环境中背景有很强的不确定性，光线的颜色、强弱、变化都可能给手势识别系统的识别率带来影响，同时实时动态手势识别系统对计算机的处理能力要求也非常高。动态手势的运动速度、表现形态不一、运动物遮挡等都会降低识别率。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种实时手势识别的方法，在动态手势的识别过程中对光照变化、复杂背景下的图像信息以及动态手势轨迹进一步优化，提高动态手势识别率。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种实时手势识别的方法，包括如下步骤：

步骤1、实时获取手势视频信号，将手势视频信号分解为按时间排序的图像序列；

步骤2、对步骤1得到的图像序列预处理得到二值图像，其中预处理包括中值滤波、色彩空间转换和肤色阈值分割；

步骤3、对步骤2预处理后的二值图像进行形态学滤波，在二维平面中采用质心定位的方法分割出手部区域；

步骤4、提取手部区域的手形特征构成手形特征向量并用SVM支持向量机算法识别成对应的手势值；

步骤5、对手部区域采用迭代LK金字塔光流算法提取运动轨迹的方向特征，使其与手势值组合为每一个动态手势图像的特征向量；

步骤6、循环执行步骤4和步骤5，直到手势结束，从而获得手势的特征向量序列，该特征向量序列的长度即为步骤1中图像序列的个数；

步骤7、建立手势模板库，将步骤6获得的手势的特征向量序列F_test，与手势模板库中所有模板F_ref都进行优化DTW匹配，并计算F_test与F_ref的失真度，如果大于失真阈值，则识别失败，如果小于失真阈值，则输出识别结果。

作为本发明所述的一种实时手势识别的方法进一步优化方案，步骤1中采用红外摄像头实时获取手势视频信号。

作为本发明所述的一种实时手势识别的方法进一步优化方案，步骤2中的预处理，对中值滤波后的图像通过图像空间转换技术转换到YCrCb彩色空间进行肤色阈值分割。

作为本发明所述的一种实时手势识别的方法进一步优化方案，步骤3中采用质心定位的方法分割出手部区域，手部区域的质心位置的求法如下：

设(x,y)为手部区域中的像素位置，I(x,y)为手部区域中(x,y)处的像素值，手部区域的零阶矩阵和一阶矩阵分别为：

其中，M₀₀为零阶矩阵，M₁₀，M₀₁分别为x和y的一阶矩阵；

求得手部区域的质心位置为：

其中，x_c为质心位置的横坐标，y_c为质心位置的纵坐标。

作为本发明所述的一种实时手势识别的方法进一步优化方案，步骤4具体如下：

4-1-1)提取手部区域的手部轮廓存为点序列并将其点序列用直线描绘；

4-1-2)计算该手部轮廓的中心矩及7个Hu不变矩，取出几何矩七个特征分量中的前四个分量，使其与手部轮廓的面积周长比共计5个手形特征构成手形特征向量；

4-1-3)利用4-1-1)和4-1-2)获得所有图像序列的手形特征向量，对其归一化后送进SVM训练器中进行学习和训练，识别成对应的手势值。

作为本发明所述的一种实时手势识别的方法进一步优化方案，步骤5利用迭代LK金字塔光流算法，求解出图像序列的光流场，得到运动轨迹的最初特征，选取运动轨迹切线角θ作为运动轨迹的方向特征，并将取值连续的θ均匀量化。