[发明专利]一种基于单目视觉的无实体虚拟鼠标方法

说明书

技术领域

本发明涉及一种基于单目视觉的无实体虚拟鼠标方法，属于计算机图像处理和计算机视觉技术的相关领域。

背景技术

所谓虚拟鼠标，在这里指的就是通过使用计算机视觉的方法来识别出人们的手势输入而模拟出真实鼠标的具体动作。而手势识别技术又使得人们能够使用一些简单的手势动作来进行交互式操作，这种无实体虚拟鼠标使得人们只需要使用自己的手势便可以实现鼠标动作的控制。

从手势识别的输入方式来看，手势识别可以分为基于数据手套的手势识别方式和基于计算机视觉的手势识别方式两种。而计算机视觉方式下的手势识别又可以分为基于标记特征的手势识别方式和基于自然特征的手势识别方式两种，本发明将使用基于自然特征的手势识别方式来为虚拟鼠标的模拟提供数据输入。J.Davis和M.Shan将戴上指尖具有高亮标记视觉手套的手势作为系统的输入，可识别7种手势；美国MIT媒体实验室的Starner，通过提取左右手质心的运动轨迹、手的形状等特征参数，结合语法规则识别出40个美国手语，正确率达到97%；Microsoft Korea的Hyeon和Kyu Lee，利用基于HMM的阈值模型从单手的运动轨迹识别出9种手势命令，平均识别率达到98.19%。

基于计算机视觉的手势识别方式根据使用的摄像头数目可以分为单个摄像头和多个摄像头两种类型。如果只使用单个摄像头则无法获取到手势的深度信息，只能获取到手势在二维平面上的投影信息；如果想要获取到手势的深度信息，则需要使用多个摄像头或采用深度摄像头。在现有的手势识别系统或一些实际应用环境中，手势的识别问题在一定程度上依赖着数据手套、特征标记等辅助措施。

发明内容

本发明的目的在于提供一种基于单目视觉的无实体虚拟鼠标方法，其能够利用手势准确地对鼠标动作进行模拟，将对非特殊环境下的裸手进行手势识别，从而使在不需要其他的辅助设备的情况下，仅通过单个摄像头获取的二维平面上的投影信息即可识别手势动作。

本发明的技术方案是这样实现的：一种基于单目视觉的无实体虚拟鼠标方法，由计算机，单目摄像头，手势输入，手势输入的有效区域组成；其中计算机和单目摄像头通过数据传输线进行连接；在计算机和单目摄像头已通过数据传输线进行连接并且能够正常工作的前提下，其特征在于虚拟鼠标的模拟步骤如下：

步骤1、在手势输入的有效区域内，手势输入通过单目摄像头将手势图像传送给计算机，以便对手势输入的手势图像进行识别，本发明可识别五种鼠标手势，每种手势依据指尖点的个数来进行区分和判定；

步骤2、将手势图像中每一个像素点RGB色彩空间的分量值转换到YCrCb色彩空间，RGB色彩空间到YCrCb色彩空间的转换公式为：

Y = 0.299 * R + 0.587 * G + 0.114 * B

Cr = -0.147 * R - 0.289 * G + 0.436 * B

Cb = 0.615 * R - 0.515 * G - 0.100 * B

其中，R、G、B分别表示RGB色彩空间中红色通道、绿色通道和蓝色通道分量的取值，Y、Cr、Cb分别表示YCrCb色彩空间中各通道分量的取值；

步骤3、在YCrCb色彩空间中，设定[(Cr + Cb)/2]参量的取值范围为[a₁, a₂]和(Cr - Cb)参量的取值范围为[b₁, b₂]，然后根据[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围来确定手势图像中各像素点是否为肤色，如果手势图像中某一像素点的[(Cr_p + Cb_p)/2]和(Cr_p - Cb_p)的取值均在[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围内，则该像素点为肤色并将其颜色设置为白色，否则不是肤色并将其颜色设置为黑色，从而得到二值化后的肤色提取图像；

步骤4、通过使用freeman链码搜索算法对二值化肤色提取图像中的所有离散像素点进行轮廓搜寻，在对所有离散像素点进行轮廓搜寻时对每一个像素点进行八邻域的边缘试探识别；设定边缘的跟踪方向为顺时针方向，某一像素点八邻域内的所有像素点均为白色则不是边缘像素点，否则该像素点为边缘像素点并将该轮廓边缘点标记为“未搜寻”，并且每一个边缘像素点的链码判定方向顺序为：左上、上、右上、右、右下、下、左下、左；