[发明专利]基于视线跟踪和手势识别的人机交互方法及装置

说明书

技术领域

本发明涉及虚拟现实系统中的人机交互技术，具体是一种基于视线跟踪和手势识别的人机交互方法和装置。

背景技术

随着计算机技术的迅猛发展，人与计算机的交互活动逐渐成为人们日常生活的一个重要组成部分。鼠标、键盘等传统的人机交互设备在使用的自然性和友好性等方面都存在一定的局限性，因此研究符合人际交流习惯的人机交互技术成为了当前的发展趋势。

基于视线跟踪和基于手势识别的人机交互方式都具有自然性、直接性和简洁性。基于视线跟踪的人机交互技术主要通过获取眼球的转动信息得到用户注视的位置，进而实现对计算机的控制。它主要分为接触式和非接触式两类。接触式的装置要求用户佩戴专门的设备以检测眼球信息，这将给用户带来很大的干扰。非接触式的装置分辨率精度有限，而且用户必须距离摄像头较近且头部偏转不能过大。基于手势识别的人机交互技术主要通过识别用户的手势变化，判断用户需要进行的操作。它分为基于数据手套和基于计算机视觉两类。基于数据手套的方法存在累赘、运动不灵活等缺点。基于计算机视觉的方法不能通过手指的指向来直接定位，必须通过特定的手势变化来获取相对位置，而且要求用户必须距离摄像头较近。所以，传统的基于视线跟踪和基于手势识别的人机交互技术都存在一定的缺陷，不能很好的解决人机之间的远距离交互，例如人们在利用大屏幕演讲时，需要远距离操作计算机。

发明内容

本发明的目的是克服现有技术存在的上述的缺陷，提供基于视线跟踪和手势识别的人机交互方法及装置，可实现远距离操作计算机。用户不必携带其它任何设备，只需通过自然的手指指向和点击动作即可实现对计算机的控制。本发明的通过如下技术方案实现。

基于视线跟踪和手势识别的人机交互方法，包括步骤：人脸区域的检测、手区域的检测、人眼的定位、指尖的定位、屏幕定位和手势识别。

所述屏幕定位包括：当用户伸出一个手指指向屏幕时，系统根据图像采集装置采集到的人脸图像和手图像区域面积大小计算出人眼和指尖到屏幕的距离；将人眼和指尖在图像中的坐标转换为人眼和指尖在以图像采集装置为原点的三维坐标系统中的坐标；由人眼和指尖两点确定一条直线，该直线与屏幕相交的点就是用户指向屏幕的位置，根据人眼坐标和指尖坐标的比例关系计算出该位置在所述三维坐标系统中的坐标；根据屏幕的大小，将所述位置的坐标转化为鼠标在屏幕上的逻辑坐标；

所述手势识别通过判断手指点击动作来模拟鼠标的点击操作，当用户伸出右手一个手指指向屏幕并移动时，将视为鼠标的移动；当该右手手指第一次合起时，将视为按下鼠标左键；此时若将右手手指伸出指向屏幕并移动，将视为按住左键移动鼠标；当该右手手指再次合起时，将视为释放了左键；当用户伸出左手一个手指指向屏幕，然后将左手手指合起时，将视为按下鼠标右键；当左手手指伸出后，将视为释放鼠标右键。

上述方法中，所述人脸区域的检测步骤包括：通过基于类矩形特征的Adaboost人脸检测算法判断图像中是否有人脸存在，首先计算图像的积分图，提取类矩形特征，根据已训练好的分类器特征库，运用Cascade级联的方法在图像中搜索人脸区域。所述分类器特征库的训练步骤包括：计算样本图像的积分图，提取样本图像的类矩形特征；根据Adaboost算法筛选有效的特征，构成弱分类器；通过组合多个弱分类器，构成强分类器；级联多个强分类器，形成人脸检测的分类器特征库。

上述方法中，所述手区域的检测步骤包括：根据人脸的肤色特征，通过肤色匹配方法搜索图像中相匹配的区域；在初步分割出手区域后，根据人脸区域的位置去除人脸和脖子的干扰区域，根据连通域的面积大小去除背景干扰，从而检测出手区域。

上述方法中，所述人眼的定位步骤包括：在检测到人脸区域的基础上，对人脸图像做水平灰度投影，然后根据人脸的五官特征，在水平灰度投影曲线上搜索各个局部最小点并判断是否为人眼区域；当检测到人眼区域后，以该区域的中点作为人眼坐标。

上述方法中，所述指尖定位步骤包括：首先对手区域的图像进行边缘检测和网格抽样处理；以抽样后的手轮廓的每个像素为中心，分别在逆时针和顺时针方向选取4个相邻的像素构成四对像素对；分别计算每对像素间的距离方差，平均距离方差最小且小于阈值的样本像素即为指尖区域；当检测到指尖区域后，以该区域的中点作为指尖坐标。