[发明专利]基于视觉的手势视频图像识别系统和方法

说明书

本发明公开了一种基于视觉的手势视频图像识别系统和方法，所述手势识别系统包括手部区域提取模块、手部区域跟踪模块、手势特征提取模块、分类器训练模块、识别模块；本方案中通过提出一种新的基于图像边缘和手部肤色的手部区域提取算法从手势视频的每帧图像中分割出手部区域、以及新的动态手势特征提取方式以及特征处理方式，使用隐马尔可夫模型构造动态手势分类器，结合手部形状特征和手部运动特征对分类器进行训练，最后，训练好的分类器可以用于实时识别训练样本集合以外的新手势，能够低运算复杂度识别动态手势从而能够实际应用。

技术领域：

本发明属于人机交互及模式识别技术领域，主要涉及基于视觉的手势视频图像识别系统和方法。

背景技术：

随着信息技术的快速发展，人与各种计算机系统的交互活动已经变得不可避免。因此人机交互技术受到了越来越多的重视。其中，动态手势为人机交互提供了一种更便捷、更自然的方式，以代替鼠标、键盘等传统的交互设备。通过手指和手掌的物理运动，动态手势既可以表达重要的信息，也可以与外部环境进行交互。根据手势数据输入方式的不同，可以将动态手势识别系统划分为基于数据手套的系统和基于视觉的系统。在基于数据手套的识别系统中，用户需要戴着设有特殊传感器的数据手套，因此应用场景会有一定的局限性。在基于视觉的识别系统中，通常只需要设置一个或多个摄像头，用户使用起来会更方便、更自然。在动态手势中，既包括手部形状的变化，也包括手部的空间运动。因此，只有同时对手部形状和手部运动建模，才能更准确地表示动态手势。但是现有的自动化动态手势识别方法一般仅仅使用手部运动特征区分不同的动态手势，因此不能用于表达更丰富的手势指令；而现有技术中的结合手部形状特征和手部运动特征的识别方式，对于如何确定并提取动态手势的特征值没有较好的方式，由于没有较好的动态手势特征值设定方式以及提取量化算法从而对识别手部形状特征的实现方式效果较差，存在较大的手部形状识别误差，同时结合手部形状特征和手部运动特征的识别复杂度较高，往往不能应用于实时识别领域。

现有技术中对视频图像中的手势区域提取，由于光照、背景反光和图像中其他物体的影响，现有技术中的提取方式提取出来的手部区域可能包含大量的噪声，导致机器难以正确识别手势。

本发明针对的是基于视觉的实时动态手势识别，提出一种基于视觉的手势视频图像识别系统和方法，解决现有技术中结合手部形状特征和手部运动特征的识别复杂度较高问题，同时能够从手势视频的每帧图像中分割出高质量的手部区域，从而准确的识别手部形状特征。能够满足如下要求：从手势视频的每帧图像中分割出高质量的手部区域；表示手部形状和手部运动的特征具有较低的计算复杂度；保证系统具有较高的识别准确率和效率。

发明内容：

本发明提供了一个基于视觉的手势视频图像识别系统和方法，该系统具有识别率高、运算速度快、鲁棒性强的特点。作为动态手势特征的简单形状描述子和运动方向编码的计算复杂度都是线性的，因此系统可以应用于实时的动态手势识别中。

本发明的一个主要目的在于提供一种基于视觉的实时动态手势识别系统，所述手势识别系统包括手部区域提取模块、手部区域跟踪模块、手势特征提取模块、分类器训练模块、识别模块；

(1)手部区域提取模块：用于基于图像边缘和肤色模型的手部区域提取方法，改进了从分辨率较低的图像中分割出来的手部区域质量，首先使用基于手部肤色直方图的方法提取出每帧图像中的手部区域，得到手部区域二值图像G_h,然后提取出每帧图像的边缘，得到边缘图像G_e，综合利用图像边缘信息和手部肤色信息得到细化的手部区域；

(2)手部区域跟踪模块：用于使用到跨平台计算机视觉库OpenCV中的CAMShift跟踪算法进行手部区域跟踪；