[发明专利]基于CamShift算法与手形遮罩的手识别装置及其方法

说明书

技术领域

本发明涉及虚拟现实与计算机图像学领域，特别涉及一种对视频中的人手部位进行连续识别与跟踪定位的基于CamShift算法与手形遮罩的手识别装置及其方法。

背景技术

手识别是人机交互、机器人、计算机视觉以及数字图像处理等领域一个重要内容。对手的位置进行准确测定与跟踪，在人机交互，手势识别等方面具有重要意义。

手识别与跟踪的方法很多，现有的方法包括基于肤色信息、基于运动信息、基于运动模型等。目前，中科大的顾理、庄镇泉等人利用光照补偿和基于分类搜索的局部阈值手形提取方法对手形进行提取，提取效果较好，但未能实现在连续视频中的追踪。哈工大的张良国等提出了基于hausdorff距离的手识别系统并利用其进行手势识别，但对光照与复杂背景等因素较敏感。哈工大的孙超、姜立利用FSR传感器检测加支持向量机的方式进行检测，效果较好但对硬件要求较高。

现有的手识别技术或是技术较复杂，在实时性上有一定缺陷，或是主要运用于单帧的静态图像，不能对连续视频进行准确性较高的跟踪与识别。本系统提出一种利用Camshift算法与手形遮罩相结合的手识别方法。该方法针对连续视频，以基于CamShift的颜色分析为主，结合手形模板的形状分析技术，并利用Haar算法等对视频的干扰成分进行处理与去除，能对视频中手所在部位进行连续与准确性较高的识别与跟踪。

其中的CamShift是“Continuously Adaptive Mean-SHIFT”的缩写，即连续自适应Mean-SHIFT算法，是一种基于Mean-SHIFT算法，应用于连续视频的跟踪算法。CamShift基于随机颜色概率模型，与被跟踪对象的具体形状模型无关。CamShift算法采用了HSV色彩空间，受光照等环境因素影响较小，且人手肤色在HSV空间色度值分布鲜明。CamShift分为反向投影(Back Projection)，MeanShift算法与CamShift算法三部分。

参考文献[1]和[2]公开了Haar算法。

[1]Paul Viola，Michael J.Jones.Robust Real-Time Face Detection[J].International Journal of Computer Vision，May 2004，57：137-154.

[2]Friedman，J.H.，Hastie，T.and Tibshirani，R.Additive Logistic Regression：a Statistical View of Boosting.Technical Report[R]，Dept.of Statistics，StanfordUniversity，1998.

有鉴于此，本领域发明人针对上述问题，研发了一种对视频中的人手部位进行连续识别与跟踪定位的基于CamShift算法与手形遮罩的手识别装置及其方法。

发明内容

本发明的目的在于，提供一种基于CamShift算法与手形遮罩的手识别装置及其方法，克服了现有技术的困难，达到对视频中的人手部位进行连续识别与跟踪定位的目的。

本发明采用如下技术方案：

本发明的一种基于CamShift算法与手形遮罩的手识别装置，包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；

所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位；

所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续追踪；

所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、划分出各个连通区域等操作，去除图像噪点；

所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为手区域，确定最终的识别与跟踪区域。

进一步地，所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。

进一步地，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。

进一步地，所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右合并四种。

进一步地，四种所述手形遮罩再分为旋转0度，正负45度，正负90度五种，共20种遮罩。

本发明的一种基于CamShift算法与手形遮罩的手识别方法，采用上述基于CamShift算法与手形遮罩的手识别装置，包括以下步骤：