[发明专利]一种基于人眼几何特征的视线追踪方法及系统

说明书

本发明属于图像处理技术领域，公开了一种基于人眼几何特征的视线追踪方法及系统。首先利用人脸定位算法定位人脸位置，使用人脸特征点检测的方法定位眼角点位置，通过眼角点计算出人眼的位置；建立虹膜模板，然后利用虹膜模板检测出眼部区域的位置，通过虹膜中心精定位算法定位虹膜中心的位置，最后检测出的眼角点、虹膜中心作为眼动向量；使用神经网络模型，把眼动向量作为神经网络的输入，建立注视点映射关系。本发明达到了良好的效果采用选取在头部运动下更稳定的眼动特征，采用单摄像头无光源的系统架构，使用基于人工神经网络的2D视线追踪方法，取得了较好的精度；降低了系统的硬件要求，减少硬件成本，增强了系统的可用性。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于人眼几何特征的视线追踪方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

视线跟踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。在人机交互和疾病诊断^[1]两个领域有着广泛的应用，如助残，虚拟现实，车辆辅助驾驶等。

目前，大部分视线跟踪基于图像的非侵入式视线，早期，Findlay等^[2]利用巩膜虹膜边缘法利用巩膜与虹膜的色差来对边缘进行提取，这种方法要求头部固定。当前的主流方法是利用瞳孔角膜反射法，Morimato等利用瞳孔角膜反射法使用外部光源照射人眼，在角膜上形成角膜反射斑，将瞳孔中心到角膜反射斑的相对偏移量作为视线特征参数，来进行视线点估计，这种方法使用起来需要对摄像头进行标定且需要外部光源。Waizenegger等^[4]通过虹膜中心，结合眼球3D模型计算出眼球中心，再通过眼球中心与虹膜中心的连接方向确定视线方向，但这种方法是利用固定的解剖学常数，给视线估计带来误差。Panev等^[5]为解决视线跟踪时的头部转动问题，先获取头部姿态与偏转信息，结合眼角点位置估计眼球中心，再结合虹膜中心估计视线方向，但这种方法需要三维深度传感器，在系统构成上比较复杂。以上这些方法都存在一些缺点，系统过程复杂，视线跟踪过程中对位置的变化比较敏感。

因此，当前一些研究人员通过直接建立眼动信息与注视点之间的映射关系来解决视线跟踪问题。Chahir等获取眼睛的角点，嘴角点，以及鼻孔中心等特征点，通过监督学习得到眼动特征与注视点之间的映射关系，这种方法在头部运动幅度过大时精度与鲁棒性无法得到保证。Sesma等以虹膜中心与眼睛内外角点为特征点，通过多项式映射方程匹配得到注视点，但该方法在头部运动时注视点估计误差快速增大。

而随着神经网络的发展，现有的计算机的计算量增大，基于神经网络模型的方法的到了很大的提高，最早的Baluja将眼部图像作为神经网络的输入得到了，将整幅图的所有像素点作为眼动特征向量，这种方法的特征维数较大增加了神经网络的训练和预测时间。受当时计算量的影响，神经网络的执行速度很慢，而Xucong Zhang利用37667幅图像在CNN上进行训练，平均错误率在13.9°与10.8°之间。这种直接使用整幅图像的方法获取的特征维度高，计算量巨大。

综上所述，现有技术存在的问题是：

(1)传统的虹膜定位方法易发生误判，给虹膜中心的定位带来很大影响且耗时较长的问题。

(2)现有技术中，没有选取在头部运动下更稳定的眼动特征，没有采用单摄像头无光源的系统架构，并且没有使用基于人工神经网络的2D视线追踪方法，不能取得较好的精度。不能降低系统的硬件要求，增加了硬件的成本，系统的可用性差。

(3)现有技术中，神经网络方法提取的特征向量维度高，信息冗余度高，计算量大，无法很好的提取出有用的信息，使得神经网络的效率降低。

解决上述技术问题的难度和意义：

解决上述问题关键是在图像中找到能代表眼动向量的信息，降低深度神经网络方法使用的无目的性，降低系统的硬件要求，加快系统的运行效率。