[发明专利]基于光流法的手势运动方向识别方法

说明书

技术领域

本发明涉及一种基于光流法的手势运动方向识别方法，属于计算机视觉领域。

背景技术

鼠标、键盘、手写板等简单的机械设备是目前人们最常用的人机交互方式，但是这些人机交互方式都是以计算机为中心，不够人性化并具有很大的局限性，不足以满足人们的需要。手是人最灵活的部位之一，手势在日常的交流与操作中使用非常广泛，方便快捷。手势以人为中心，符合人们的生活习惯，所以手势作为一种新型的人机交互方式非常具有研究价值。

现有的基于计算机视觉的手势识别研究一般是识别手势的不同姿态来赋予不同的意义，比如采用隐马尔可夫模型、形状纹理特征等方法识别手势姿态，或利用特殊的深度摄像头如微软Kinect体感设备等获取深度图像来跟踪识别手势等。但前者的缺点是计算机需要处理的数据复杂，容易存在响应时间长、识别率低等问题，很难在实时交互的前提下达到满意的识别率，而后者采用特殊摄像头，存在价格昂贵、难以普及的问题。

手势的不同姿态可以表现众多不同的意思，而手势的不同的运动方向也可以表现少量不同的意思，但它如果用以控制不需要太多指令的计算机程序是足够胜任的，如播放器的播放、快进、快退等指令。研究手势的运动方向识别可以减少计算机需要处理的数据，不像手势姿态研究那样过于复杂，但目前很少有对手势运动方向的识别展开研究。

发明内容

本发明的主要目的是在使用普通摄像头的前提下提供一种手势运动方向的识别方法，以动态手势运动方向作为计算机识别的目标，使计算机可以针对不同的手势运动方向做出不同的反应，如利用本发明的成果来控制视频播放器的播放暂停、快进快退等操作，提高人机交互的灵活性。

为实现上述目的，本发明采用的技术方案为基于光流法的手势运动方向识别方法，该方法的流程图如图1所示，实施流程如下：

步骤1、通过VGA分辨率的普通摄像头获取计算机前的图像序列并进行预处理，包含GrayWorld彩色均衡处理与高斯平滑操作。GrayWorld彩色均衡处理的作用是：消除彩色偏移，图像更加接近于实际颜色，且高光阴影部分会显著减少，使步骤2的肤色检测能够适应不同的光照与光源的变化。先计算图像的R、G、B三分量各自的平均值avgR、avgG、avgB，获得图像的平均灰度值avgGray＝(avgR+avgG+avgB)/3，然后对于图像中的每个像素，调整其R、G、B分量成为R＝R·avgGray/avgR，G＝G·avgGray/avgG，B＝B·avgGray/avgB，最后将各像素的R、G、B值调整到可显示范围，若分量值大于255，调整为255。在GrayWorld处理后，对图像进行高斯平滑操作来消除摄像头采集过程中产生的随机噪声。

步骤2、YCbCr域椭圆肤色检测。肤色样本在CbCr平面上较为集中地分布在近似椭圆的区域中，所以可以通过像素点在CbCr平面上是否落在此椭圆域来确定是否肤色。肤色椭圆区域由式(1)表示，其中c_x＝109.83，c_y＝152.02，＝2.53，ec_x＝1.60，ec_y＝2.41，a＝25.39，b＝14.03，x与y的取值由式(2)所示。

在计算过程中，由图像像素点的Cb、Cr值算出x与y值，当x与y值落在式(1)所表示的椭圆区域，则令图像像素值为1，否则为0，这样可以得到肤色像素点为白色，非肤色像素点为黑色的二值图。

步骤3、对肤色检测后的二值图像进行形态学重建，采用形态学中的闭运算。在数学形态学中，腐蚀是将边界的像素点缩小至目标物体内部的一个像素点子集，消除图像中目标物体的边界。膨胀是将图像中的目标物体的像素点扩大至周围的一个像素点子集，使周围的像素点的值与该像素点保持一致。单独对图像膨胀或者腐蚀都或多或少对图像造成损害，将膨胀和腐蚀结合在一起可以降低对图像造成的损害，闭运算是对图像进行先膨胀后腐蚀，可以填补图像中的空洞，连接细小的挨在一起的物体。对步骤2得到的二值图像进行闭运算可以得到人脸与人手是两个白色清晰连通区域的图像。

步骤4、对各个白色连通区域进行标记并求面积，即计算各个白色连通区域含有多少个像素点，然后按照面积从大到小排列。如果画面中有较大的类肤色物体，例如与黄种人肤色几乎一致的棕黄色家具，也会形成一个较大的连通区域且其像素数量未知，所以需要保留像素数量排行前三位的连通区域，代表着人脸、人手与面积未知的干扰区域，其余所有连通区域全部作为无关信息进行剔除。