[发明专利]复杂场景下基于多信息融合的手势分割方法

说明书

技术领域

本发明涉及一种手势分割的方法，具体为一种复杂场景下基于多信息融合的手势分割方法，可以用于手势识别、人机交互、移动设备的操控等很多领域。

背景技术

随着计算机的发展在现代社会中应用越来越广泛和迅速，人机交互技术的需求在人类生活中也变得越来越高，而手势作为一种最自然，最符合人类行为习惯的交互方式之一，更是人机交互领域中重要的研究方向之一。而手势分割通常是交互系统中的第一步也是最关键的一步，其效果会直接影响到后续特征提取以及识别的准确率。为得到令人满意的手势分割结果，国内外有众多的学者对手势分割方法进行了深入的研究，结合各类研究以及实际应用，可以分析出目前手势分割领域存在的主要技术难点如下：

1)受限于环境的复杂程度。实际应用场景通常较为复杂，存在光照的变化，背景物体的移动，类肤色物体的影响等。

2)用户自由性受到限制。大量研究为了手势分割的效果要求用户穿着深色衣服，佩戴特殊颜色手套，不得出现身体其他部位等。

3)实时性要求得不到满足。为了适用于复杂的场景，许多研究者提出复杂的分割算法，但复杂度的提高伴随着实时性的下降。

针对以上技术难点，研究者们的通常做法是根据自己所研发的系统和所处的实验环境来选择适合自己系统的手势分割方法，缺少一定的通用性。

发明内容

为了解决现有技术中的问题，本发明公开了一种复杂场景下基于多信息融合的手势分割方法，该方法可以适用于不同的复杂环境，结合预检测、肤色检测和前景检测的方式，并用一种验证补充机制将多种检测结果融合，得到较准确和完整的手势分割结果。且该算法允许画面中出现人脸、手臂等其他人体部位。

本发明采用以下技术方案：一种复杂场景下基于多信息融合的手势分割方法，包括以下步骤：

步骤1：图像预处理：对视频图像序列的每一帧图像，进行平滑滤波的预处理，去除图像中存在的一定噪声；

步骤2：预检测：通过事先训练一种分类器，用于检测图像中与手势颜色特征、大小特征、运动特征等相似，容易被误判定为手势的区域，通过该分类器定位到这些区域，并筛除；

步骤3：肤色检测：采用多颜色空间分量的肤色检测方法，建立一个新的颜色空间HLS-CbCr颜色空间，将图像转换到HLS-CbCr颜色空间上，通过事先提取的肤色样本建立肤色模型，根据在HLS-CbCr颜色空间上的肤色模型分布情况，检测出图像中的肤色区域；

步骤4：前景检测：采用基于时空信息改进的混合高斯建模方法进行前景检测，通过为每个背景像素建立一个混合高斯分布模型，判断出图像中的背景部分，从而进一步提取出前景区域。并根据肤色检测的结果设置检测区R(x,y)，为检测区和非检测区分配不同的学习率，并且记录每个像素被判定为背景次数，根据该次数分配不同的学习率，从而更快速地检测出图像中的前景区域；

步骤5：融合多种检测结果进行手势分割：采用一种验证补充机制将肤色检测和前景检测结果融合。通过肤色和前景检测结果的第一次相与操作，提取出其的最大轮廓和外接矩形，并将此外接矩形与前景检测结果相与，对第二次相与结果进行填补操作，从而得到最终完整的手势分割结果。

进一步地，步骤2中所述的预检测，通过事先训练一种分类器，用于检测图像中与手势颜色特征、大小特征、运动特征等相似，容易被误判定为手势的区域，通过该分类器定位到这些区域，并筛除，其具体检测过程如下：

步骤2.1：特征提取：

将样本分为两类,一类为与手势颜色特征、大小特征、运动特征等相似的样本，比如人脸，一类为非相似样本，对所有样本进行Haar特征提取，特征值可以用式表示：