[发明专利]一种人机交互方法

说明书

技术领域

本发明涉及利用捕捉手部行为实现人机交互的方法，属于视觉测量技术及计算机技术领域。 

背景技术

受主流显示设备和应用软件的限制，通常传统的人机交互方式是一种限于二维平面内的操作。随着立体视觉、虚拟现实、增强现实等概念的提出，用户喜欢更自然的方式，在更富于想象力的虚拟环境中，与操作对象进行交互作用与相互影响，从而产生“沉浸”于等同真实环境中的感受和体验，数据手套技术的研究因此得到了发展和应用。数据手套可以跟踪使用者灵活多变的手势及空间方位，使操作者自然而然地将自己的意识传递给计算机。国内外已有一些研究机构在数据手套的研发方面做了大量工作，并推出了一些数据手套产品及其应用。数据手套产品都必须利用较精密的传感器实现数据的测量，所用传感器的不同，使测量精度和最大采样频率这两项技术指标的差异较大。数据手套本体材料多为价格昂贵的弹性纤维，并在使用时都需要佩戴在操作者手部，数据手套操作使用过程与计算机之间用通信线连接，通讯接口采用RS232，最高波特率115.2kbps。这些数据手套产品价格昂贵而多用于科研，尚未见民用级产品推出。 

发明内容

本发明的目的在于针对传统人机交互方式(传统鼠标)采用二维信息进行人机交互，不适应于新型的显示技术(如3D投影，三维显示)，而数据手套设备复杂、价格昂贵且有通讯线束缚等不足，提出了一种基于手部行为捕捉的人机交互方式，即视觉鼠标。采用视觉测量这一非接触测量方式，实现对操作手部特定标记三维信息的获取，并根据标记的坐标变化实现人机交互，已实现传统鼠标的功能。 

本发明采用如下的技术方案： 

一种人机交互方法，利用摄像头采集贴有标记的手部图像，将其送入计算机中，在计算机里存储有标记样本参数和摄像头特征参数，包括下列步骤： 

(1)在手的至少两个能够独立活动的部位贴上不同的标记，并将手置于摄像头的视场内； 

(2)利用摄像头连续采集包含全部标记的手部图像序列，将其送入计算机中； 

(3)计算机根据所存储的相应的标记样本参数，探测标记并识别不同标记； 

(4)根据所采集的手部图像和摄像头特征参数计算被探测到的标记中心点在标记 坐标系中的三维坐标； 

(5)设定一个标记在一个手部图像与其后续的手部图像的坐标值的变化阈值，根据不同标记坐标改变量是否超出所设定的变化阈值，以及坐标变化的方向，实现对鼠标的控制。 

作为优选实施方式，本发明的人机交互方法，其中的步骤(3)包括下列步骤： 

(1)设定二值化阈值，将采集到的手部图像转换成二值图像； 

(2)对该二值图像作连通域分析，搜索并识别所有具有边缘特征的图像区域； 

(3)将识别出的各个具有边缘特征的图像区域与各个标记样本参数相比对，识别出各个不同标记。 

设在手上贴有标记A和标记B两个不同的标记，所采集的手部图像为手部的平面图像，其中的步骤(5)包括下列步骤： 

(1)对相邻两帧图像分别计算标记A和标记B的三维坐标值并求得各标记坐标值的改变量；判断标记A相对于手操作平面的左右方向或前后方向的坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API函数库中的mouse_event函数，根据坐标改变量，控制鼠标在当前位置的基础上的移动方向和移动像素点数。 

(2)若判定标记A没有移动，则继续判断标记B相对于手操作平面的上下方向坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API中的mouse_event函数，控制鼠标产生右键操作。 

(3)若判定标记B不进行右键操作，则继续判断标记B在手操作平面上的坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API函数库中的mouse_event函数，控制鼠标产生左键操作。 

本发明的人机方式采用视觉技术进行三维坐标求取，受摄像头采样速度和程序运行时间的限制，最高采样频率为15.6Hz。光标控制的精度达到了2个像素，按键控制的出错率为4％，可以实现鼠标的光标移动控制和按键控制功能，能够完成对计算机的常规操作(浏览网页，文件操作等)，程序运行占用系统内存为40M。本发明采用三维信息实现了鼠标的基本功能，具有结构简单、成本低、采用非接触测量摆脱通讯线的束缚等特点。 

附图说明

图1本发明所用标记示意图，(a)：手背部标记；(b)：食指端标记； 

图2本发明使用的小孔成像模型示意图；