[发明专利]基于视线跟踪和手势识别的人机交互方法及装置

权利要求书

1.基于视线跟踪和手势识别的人机交互方法，包括步骤：(1)人脸区域的检测；(2)手区域的检测；(3)人眼的定位和(4)指尖的定位，其特征在于还包括如下步骤：

(5)屏幕定位：当用户伸出一个手指指向屏幕时，系统根据图像采集装置采集到的人脸图像和手图像区域面积大小计算出人眼和指尖到屏幕的距离；将人眼和指尖在图像中的坐标转换为人眼和指尖在以图像采集装置为原点的三维坐标系统中的坐标；由人眼和指尖两点确定一条直线，该直线与屏幕相交的点就是用户指向屏幕的位置，根据人眼坐标和指尖坐标的比例关系计算出该位置在所述三维坐标系统中的坐标；根据屏幕的大小，将所述位置的坐标转化为鼠标在屏幕上的逻辑坐标；

(6)手势识别：通过判断手指点击动作来模拟鼠标的点击操作，当用户伸出右手一个手指指向屏幕并移动时，将视为鼠标的移动；当该右手手指第一次合起时，将视为按下鼠标左键；此时若将右手手指伸出指向屏幕并移动，将视为按住左键移动鼠标；当该右手手指再次合起时，将视为释放了左键；当用户伸出左手一个手指指向屏幕，然后将左手手指合起时，将视为按下鼠标右键；当左手手指伸出后，将视为释放鼠标右键。

2.根据权利要求1所述的方法，其特征在于所述步骤(1)包括：通过基于类矩形特征的Adaboost人脸检测算法判断图像中是否有人脸存在，首先计算图像的积分图，提取类矩形特征，根据已训练好的分类器特征库，运用Cascade级联的方法在图像中搜索人脸区域。

3.根据权利要求2所述的方法，其特征在于所述分类器特征库的训练步骤包括：计算样本图像的积分图，提取样本图像的类矩形特征；根据Adaboost算法筛选有效的特征，构成弱分类器；通过组合多个弱分类器，构成强分类器；级联多个强分类器，形成人脸检测的分类器特征库。

4.根据权利要求1所述的方法，其特征在于所述步骤(2)包括：根据人脸的肤色特征，通过肤色匹配方法搜索图像中相匹配的区域；在初步分割出手区域后，根据人脸区域的位置去除人脸和脖子的干扰区域，根据连通域的面积大小去除背景干扰，从而检测出手区域。

5.根据权利要求1所述的方法，其特征在于所述步骤(3)包括：在检测到人脸区域的基础上，首先对人脸图像做平滑处理，再对人脸图像做水平灰度投影，然后根据人脸的五官特征，在水平灰度投影曲线上搜索第二局部最小点，在该点的上下各取图像1/20作为候选眼区域，并判断该区域是否为人眼区域；当检测到人眼区域后，以该区域的中点作为人眼坐标。

6.根据权利要求1所述的方法，其特征在于所述步骤(4)包括：首先对手区域的图像利用梯度算子进行边缘检测得到手的轮廓，并进行网格抽样处理；以抽样后的手轮廓的每个样本像素为中心，分别在逆时针和顺时针方向选取4个相邻的像素，构成以样本像素为中心对称的四对像素对；分别计算每对像素间的距离方差，平均距离方差最小且小于阈值的样本像素即为指尖区域；当检测到指尖区域后，以该区域的中点作为指尖坐标。

7.一种实现权利要求1～5任一项所述方法的装置，其特征在于包括图像采集装置，图像处理模块和无线传输模块，图像采集装置中的摄像头放置于屏幕上端中央，负责采集用户的图像并输入到图像处理模块中；图像处理模块负责控制其它两个模块，运行各种图像处理算法对采集的用户图像进行分析处理，将用户指向屏幕的位置和手势的变化转化为计算机在屏幕上的逻辑坐标和控制指令；无线传输模块包括接收模块和发送模块，发送模块与图像处理模块连接，负责将处理结果通过射频信号传输到接收模块；接收模块与计算机相连，负责将处理结果转化为鼠标控制信号输入到计算机中。

8.根据权利要求7所述的装置，其特征在于所述图像处理模块包括一嵌入式处理器和外围器件，所述接收模块和发送模块均包含有射频芯片和单片机。