[发明专利]基于肤色检测与背景消除的手部识别方法及系统

说明书

技术领域

本发明涉及动作识别技术领域，尤其涉及基于肤色检测与背景消除的手部识别方法及系统。

背景技术

研究出一种可以用于电视、手机上的支持多种语言的手语合成系统。系统可以把电视和手机中以声音和文字形式承载的语言信息转换成手语信息，并通过数字化的虚拟人表示出来。该技术可以让成千上万的聋哑人和正常人一样看电视，使用手机，享受现代化数字技术为人类带来的便捷。手语合成系统是智能人机接口的一个重要研究课题。合成手语不仅有助于聋人使用各种信息，而且可以帮助聋人参加各项社会活动(如观看电视)，具有十分重要的应用价值和社会意义。

国内主要研究者有：中科院计算所的高文教授、王兆其教授等研制的“中国手语合成系统”，该系统采用先进的传感器设备，包括6DOF传感器和数据手套，建立中国手语词库，然后应用合成技术，对于给定文本句子，可由健听人话语转换而成，自动合成相应的人体运动数据。最后应用计算机人体动画技术，将这些运动数据应用于虚拟人，由虚拟人完成合成的手语的运动。其他研究者有哈尔滨工业大学宋益波，姚鸿勋等和北京工业大学尹宝才教授。

目前和本发明相关的现有技术有以下几种：

基于ROI分割和相干映射的裸手字母手势识别，该算法结合改进的差分法提出了实用的手部约束条件，从每帧图像中提取手部图像，确定感兴趣区域（ROI，region of interesting），得到较为满意的手部分割结果，再对手部图像特征进行深入分析和提取，利用改进的相干映射算法（VCM，vector coherence mapping）进行跟踪，针对手的运动增加了约束，保证了顽健性。在这个基础上，提出了时间相关的运动预测模型，满足了实时性的要求，保证前后分析结果的一致性。实验结果证明，在不同光照和复杂背景下系统有最高达99％的识别率，与已有的系统相比，性能显著提高。

一种基于最大似然Hausdorff距离的手势识别算法针对字母手势的检测和跟踪问题，文章提出一种基于最大似然准则Hausdorff距离的手势识别算法。该算法首先对字母手势图像进行二值化处理，并由字母手势图像的边缘信息中提取字母手势的关键点指根和指尖；然后采用基于最大似然准则的Hausdorff距离对手势进行识别，搜索策略采用类似于Rucklidge提出的多分辨率搜索方法，在不影响成功率和目标定位精度的情况下，可以显著地缩短搜索时间。实验结果表明此方法可以较好地识别字母手势，同时对部分变形(旋转和缩放)手势也有良好的效果。

一种肤色干扰下的变形手势跟踪方法根据跟踪过程中所用到的基本手势特征，提出了一种基于PGH（成对几何直方图）的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题，实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题，提出了一种基于层次结构的跟踪初始化解决方案。

基于历史的动态手势识别基于表观建模的方法是当前手势识别的主流，我们采用基于历史的手势表示方法，用皮肤历史图像建立手势表观模型，然后用原型模板匹配的方法进行手势识别，并使用切线距离来进行测试样本与模板之间的相似性度量，以消除视觉敏感问题。实验结果表明，该方法显著地提高了识别准确率。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于肤色检测与背景消除的手部识别方法及系统。通过肤色检测与背景消除来处理拍摄下来的手势，使用几何矩及指尖相关信息作为特征数据进行选取，然后运用Boosting与Random forest分类器进行识别。

肤色检测采用反向投影的方法进行的，采用codebook背景消除模型进行背景消除。

在特征提取中采用Hu矩作为特征值，通过形态学操作、图像差分及模块匹配来实现指尖特征提取。

一种基于肤色检测与背景消除的手部识别系统，包括视频输入，手势分析以及手势识别，手势分析可以分为检测、跟踪，特征提取这三个阶段；首先需要选择适合研究内容的手势模型来确定需要提取的特征数据，然后通过检测算法将手势从输入图像中检测出来，并运用跟踪算法对手部运动进行实时追踪，最后提取被分离出图像的相关特征数据。

静态手势识别中识别过程则主要依靠机器学习算法，通过对分析过程中提取的数据集进行学习，建立适合该数据特征的判断规则，然后根据这些判断规则对得到的未知数据集进行预测分类，并在输出时结合相应语法规则来形成对手势的描述。