[发明专利]一种复杂背景下的运动手势自动识别系统

说明书

本发明公开一种复杂背景下的运动手势自动识别系统，其特征在于，包括用户图像捕捉模块、手势图像检测模块、手势特征提取模块、手势结果识别模块和手势控制实现模块。该系统利用Viola‑Jones检测器和基于帧间差分法的运动目标检测结合的方法进行手势分割，同时也能降低Viola‑Jones检测器的误识率，提高手势检测的稳定性和准确性；同时该系统不借助手套、头盔等外界设备，也不对外界环境做特殊限制，使人机交互更加自然、简单和直接。

技术领域

本发明涉及手势识别，特别是涉及一种复杂背景下的运动手势自动识别系统。

背景技术

随着人机交互技术的快速发展，传统的基于鼠标、键盘的交互方式显示出自身的局限性，新的人机交互方式成为研究的热点。手势作为一种自然而直观的交流方式，是人机交互中的一个重要组成部分。

基于手势识别的人机交互方式是指，通过摄像头捕捉、识别使用者的动作，如手掌的开合移动等，以及一些自然物体，如文字、照片、模型等，而不必操作鼠标或者零距离接触屏幕来进行人机交互。

目前的手势识别系统多采用以下两种：

(1)数据手套或佩戴物：此方式可降低检测和识别算法的复杂性，但佩戴式的操作方式显然难以满足自然的人机交互的需要；

(2)基于3D深度相机：3D扫描设备体积较大，硬件成本较高，所需运算能力更高，难以集成并应用到大众化的智能终端上；

(3)基于肤色检测和背景建模：肤色检测容易受光照影响，而且在机器人运动时很难进行背景建模。

发明内容

本发明的目的在于克服现有技术的不足，提供一种复杂背景下的运动手势自动识别系统，该系统使用单目摄像头来捕捉用户的运动手势图像，通过人手检测，对人手进行阈值分割，获得手势的二值图像并使用边缘检测提取手势轮廓，再对手势轮廓图像提取手势特征，通过支持向量机分类器来实现手势识别，最后根据识别的手势结果向中间件接口发送指令，实现手势控制。

本发明解决上述技术问题的技术方案为：

一种复杂背景下的运动手势自动识别系统，其特征在于，该系统包括用户图像捕捉模块10、手势图像检测模块20、手势特征提取模块30、手势结果识别模块40和手势控制实现模块50，其中：

所述的用户图像捕捉模块10，通过单目摄像头来捕捉用户的运动手势图像并将图像传输至手势图像检测模块20；

所述的手势图像检测模块20，通过人手检测，对人手进行阈值分割，获得手势的二值图像并传输至手势特征提取模块30；

所述的手势特征提取模块30，在得到手势的二值图像之后，通过提取手势轮廓的傅里叶描述子、手势二值图的Hu不变矩、凸缺陷个数作为手势特征，描述手势信息并传输至手势结果识别模块40；

所述的手势结果识别模块40，通过支持向量机分类器来实现识别手势并将结果传输至手势控制实现模块50；

所述的手势控制实现模块50，根据识别的手势结果向中间件接口发送指令，实现手势控制。

本发明的复杂背景下的运动手势自动识别系统中的用户图像捕捉模块10，利用单目摄像头捕捉图像，不需要数据手套、头盔等外界设备，且使用双手静态检测方案；

本发明的复杂背景下的运动手势自动识别系统中的手势图像检测模块20，包括以下模块：

人脸检测模块201：利用人脸检测算法先检测人脸以区分左右手区域；

手势检测模块202：结合Viola-Jones检测器和基于帧间差分法的运动目标检测进行手势检测；

阈值分割模块203：对人手进行阈值分割，得到二值图像；