[发明专利]一种适用于人机交互的非接触式自由空间视线跟踪方法

摘要

本发明提供一种适用于人机交互的非接触式自由空间视线跟踪方法，包括以下步骤：实时人脸及眼睛定位跟踪、眼动生物特征信息提取、建立基于眼睛生物特征信息的眼动模型和构建眼动模型与眼睛注视物体的映射关系模型等。本发明涉及到图像处理、计算机视觉、模式识别等多个交叉领域，在新一代人机交互、残疾人辅助、航空航天相关领域、体育运动、汽车飞机驾驶、虚拟现实和游戏等领域有着广泛的应用前景，此外对提高残疾人生活和自理水平，构建和谐社会，提高我国人机交互、无人驾驶等高新技术领域的自主创新能力有着极大的现实意义。

主权项

一种适用于人机交互的非接触式自由空间视线跟踪方法，其特征在于包括以下步骤：1)实时人脸及眼睛定位跟踪：通过视频跟踪摄像机实时捕获到脸部及人眼的图像，对人脸图像进行定位瞳孔的分析处理，所述的分析处理方式具体为：采用Viola算法建立人脸分类器对人脸进行检测；同时再在人脸区域上使用Viola算法建立人眼分类器来定位人眼区域；接着，采用基于图像灰度投影法定位瞳孔中心，实现人脸区域到人眼区域，以及人眼区域到瞳孔区域的图像处理简化过程；2)眼动生物特征信息提取：检测和采集图像中的人眼位置，提取眼睛子图像，其中采用Viola算法建立人脸分类器对人脸进行检测，同时再在人脸区域上使用Viola算法建立人眼分类器来定位人眼区域；进一步，通过基于角膜反射原理及图像处理的方法提取瞳孔的移动信息，经过基于图像灰度投影法定位瞳孔中心，并采用基于2D‑DCT特征的EHMM，通过已收集的人眼图像来分析和建立隐Markov模型，实现人眼状态的判别；3)建立基于眼睛生物特征信息的眼动模型：建立测量眼球的旋转中心的模型和基于二维瞳孔移动信息与眼球非规则球体旋转信息的三维眼动模型，定义从Purkinje斑点到瞳孔中心的二维向量为瞳孔‑角膜反射向量，记作P‑CR，并通过对人眼进行摄像实时的获取眼球信息并结合P‑CR，生成人眼到注视物体的3维空间方向向量；4)构建眼动模型与眼睛注视物体的映射关系模型：采用视线跟踪得知人在观测各种外景和屏幕信息时的扫视选择和注视过程，从而获取人的视觉感知和综合机理，建立起视场坐标系与瞳孔坐标系之间 的变换关系，获得人眼真实注视点在视场坐标系中的坐标，并计算出眼睛注视点，最后把注视点映射到使用者实际的注视物体之上，完成视场(实际眼睛注视点)与眼睛图像的匹配工作，实现视频跟踪摄像机视场与眼睛视场的对应。