[发明专利]基于机器视觉的手势识别方法

说明书

本发明基于机器视觉的手势识别方法，在深度图像上，利用支持向量机训练基于HOG特征的手势分类器，用于图像序列中手势位置的检测；通过检测得到初始位置后，使用CAMSHIFT跟踪手势目标，定位出每一帧图像中手所在的区域；通过种子点生长算法和基于形状、深度信息的弱分割器交替级联，可以实现对手势区域的精确分割；采用基于手势几何特征的模板匹配法和实现端到端识别的卷积神经网络进行识别手势。实现高精度以及高鲁棒性的识别效果及实现对同一图像中多个手势的检出和识别。

技术领域

本发明涉及智能控制技术，特别涉及智能识别技术领域，具体的，其展示一种基于机器视觉的手势识别方法。

背景技术

人机交互技术(Human-Computer Interface, HCI）主要关注于人类和计算设备之间如何进行有效的信息交换。现阶段而言，发展较为成熟的人机交互方式包括基于语音分析的交互技术、基于脑电分析的技术、人类肢体动作的识别技术以及手势识别技术等等。

这些交互方式都在各自的应用领域发挥着革命性的作用。对比上述几种人机交互手段，手势作为一种简单的肢体语言，有很强的表意功能，它在人们的日常交流中发挥着等同于语音的重要作用。

随着计算机处理性能的提高，手势识别相关理论算法的成熟，手势交互作为一种自然、高效的交互手段，正在逐步成为智能人机交互的重要组成部分。

因此，有必要提供一种机器视觉的手势识别方法来实现上述目的。

发明内容

本发明的目的是提供一种基于机器视觉的手势识别方法。

技术方案如下：

一种基于机器视觉的手势识别方法，使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为：

1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；

2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；

3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；

4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别。

进一步的，步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高系统的复杂性以及加大手势检测所需时间，基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。

进一步的，步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。

进一步的，步骤4）中实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax 回归基于抽象特征对手势进行识别。