[发明专利]一种基于多线索融合的手部分割方法

说明书

本发明的目的是为克服手部分割在复杂背景条件下分割效果较差的问题而提供的一种基于多线索融合的手部分割方法。现有技术中存在的问题与不足，导致手部分割的分割效果不尽人意。首先，手部分割的背景形式多变、受到外部其他物体运动干扰多，使手部分割的结果与真实分割结果之间存在一定的偏差。本发明采用多线索融合的手部分割方法，通过使用YCrCb空间肤色分割、帧差法、背景提取计算分割区域，利用分水岭算法抑制原始YCrCb分割结果在进行洪泛填充时手部与背景粘连，对求出的分割区域进行与操作，求出最终的手部分割区域。

技术领域

本发明涉及一种基于多线索融合的手部分割方法，属于计算机手势识别领域。

背景技术

手势识别在工业控制、交通运输、国防安全等领域的实际应用越来越广。真实环境复杂程度高、不确定性强、自然因素(如背景、光照)干扰多，手部分割面临诸多挑战。现有的手部分割方法主要有两类：一类是基于手部颜色空间特征、形状特征的方法，颜色上使用基于CIELAB、HSV、CIELUV、IHLS、RGB、SKN、YCbCr等的颜色空间。形状上会使用边缘检测方法提取轮廓，同时也使用SIFT、HOG描述符加机器学习算法来进行分割。除此之外，还有基于像素的颜色特征，纹理特征和图像的邻域特征并使用随机森林作为分类器的手部分割方法；一类是基于深度学习的方法，如基于语义分割网络U-Net、SegNet的手部分割和使用多任务SegNet同时进行手指区域分割和指尖检测等。还有一些方法使用深度图像或者深度图像搭配RGB图像作为输入，能够获得相比于只使用RGB作为输入更好的准确率。基于手部颜色空间特征的方法虽然计算快速，但是准确性不高。容易受到背景颜色的干扰。上述提到的颜色空间中，YCbCr是肤色分割效果最好的颜色空间，但是仍然容易受到背景的干扰。基于形状特征的方法容易受到方位与角度的影响。基于深度学习的方法首先需要一个较大的数据集进行训练，且对数据集的标注非常耗时。另外，深度学习方法有时受到光照的影响也比较大，光照较暗时会出现大片应分割出的手部区域没有被分割的现象。并且即使使用GPU进行推理，相较传统方法耗时仍然相对较长。在实际应用中对于同时出现的大量手势识别需求无法进行实时处理。另外，语义分割方法对于输入图像的质量要求很高，如果利用云边协同的方式进行识别可能造成网络流量过大。有些方法还使用深度摄像头作为输入，导致完成手势识别任务需要的成本更高。

发明目的

本发明的目的是为克服手部分割在复杂背景条件下分割效果较差的问题而提供的一种基于多线索融合的手部分割方法。现有技术中存在的问题与不足，导致手部分割的分割效果不尽人意。首先，手部分割的背景形式多变、受到外部其他物体运动干扰多，使手部分割的结果与真实分割结果之间存在一定的偏差。本发明采用多线索融合的手部分割方法，通过使用YCrCb空间肤色分割、帧差法、背景提取计算分割区域，利用分水岭算法抑制原始YCrCb分割结果在进行洪泛填充时手部与背景粘连，对求出的分割区域进行与操作，求出最终的手部分割区域。

本发明的目的是这样实现的：

本发明提出了一种基于多线索融合的手部分割方法，该方法具有计算速度快、对复杂背景具有一定程度的抗干扰、对图像质量要求较低等优点。具体步骤如下：

S1：使用帧差法提取色差超过一定阈值的像素，实现运动目标分割。将动态视频的前后两帧相减并转换成灰度图像。提取其中灰度差超过move_thres的元素。

S2：使用K近邻背景建模提取背景，将原图像减掉该背景获得前景fgMask。