[发明专利]视线追踪系统中基于瞳孔-角膜反射的视线估计方法

说明书

技术领域

视线追踪系统中的基于瞳孔-角膜反射(PCCR)的视线估计方法，属于人机交互领域。

背景技术

视线追踪技术是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术，按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。在人机交互和疾病诊断两个领域有着广泛的应用，如助残，虚拟现实，认知障碍诊断，车辆辅助驾驶，人因分析等。用于诊断的视线追踪系统可以采用侵入式以达到更高的精度。用于交互的视线追踪系统除了对精度，鲁棒性，实时性的要求以外，需要最大程度的减少或消除对使用者的干扰。随着数字化技术、计算机视觉、人工智能技术的迅速发展，基于数字视频分析(VideoOculographic，VOG)的非侵入式视线追踪技术成为当前热点研究方向。

视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，然后通过几何模型或映射模型获取视线方向。因此，基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。随着系统硬件和视线估计模型不同，基于VOG的视线追踪方法可分为如下几类：

(a)瞳孔-角膜反射法：采用红外光源产生角膜反射，通过计算瞳孔中心与角膜反射之间的向量来估计视线方向。视线估计模型可以采用映射模型(通常为非线性多项式模型)，也可以采用几何模型。

(b)角膜反射矩阵法：多红外光源在角膜上产生多个角膜反射形成角膜反射矩阵。通过计算角膜反射与瞳孔中心的位置特征估计视线方向，视线估计模型使用投影平面不变的交比值。

(c)椭圆法线方向法：通过记录高分辨率眼睛图像，计算虹膜边界圈的法线方向估计视线方向。在可见光下追踪高分辨率的眼睛图像并通过基本的投影几何关系计算椭圆虹膜圈的法线方向并视其为视线方向。

VOG系统普遍使用瞳孔-角膜反射方法，如图1所示。基于瞳孔角膜反射的视线追踪系统，其精确性与稳定性可以通过设置与摄像机镜头同轴的近红外(IR)光源进一步提高，其产生的“亮瞳”现象如图2所示。由于采用亮暗瞳差分方案，瞳孔特征相对突出，便于在整幅脸部图像中快速捕捉眼睛和在眼部图像中精细准确的分割瞳孔。亮暗瞳差分方案一般过程如下：控制光源交替亮暗，产生亮瞳和暗瞳隔帧交替出现的视频序列。利用相邻亮瞳和暗瞳图像做差分消除背景的影响，在阈值化后的差分图像中检测瞳孔。在此基础上，为了提高检测的稳定性，通过动态设置阈值等方法，对亮暗瞳差分方案做出了改进，以排除头部随机运动产生的干扰区域。在初始帧中对瞳孔进行定位以后，需要在接下来的视频序列中对瞳孔进行跟踪。卡尔曼滤波，均值漂移，组合卡尔曼滤波与均值漂移，相继被用于瞳孔跟踪。

大部分基于瞳孔-角膜反射技术的视线估计可分为两类：基于二维映射模型的视线估计方法和直接的三维视线估计方法。

对于直接的三维视线估计方法，首先要估计三维的视线方向，然后通过视线方向和屏幕的交点即可得到盯视点。用以三维视线方向的估计方法，使用一个单校准摄像机和至少两个光源。首先，使用至少三个光源测量每个使用者的眼球角膜半径。一系列高阶多项式方程用来计算角膜的半径和中心，但是它们的解不是唯一的。因此，如何从这些解中找到正确的答案仍然是个问题。此外，还没有用这种技术建立起相应的实用系统。

三维视线估计方法有以下几个缺点：(a)在现存的三维视线估计方法中，要么需要关于用户眼球参数的独立信息，要么需要至少两摄像机和两个光源的复杂硬件配置。否则就不能解决头动问题。但是使用者眼球的独立信息，如角膜半径和瞳孔与角膜中心的距离，是非常小的(一般小于10mm)。因此，在不借助其它仪器的情况下，准确的间接估计眼球独立参数是很难实现的。(b)即使采用一个摄像机和两个光源配以使用者眼睛独立参数的方案，在系统标定过程中也要使用至少两个摄像机。(c)因为需要估计角膜球面中心的空间位置，而角膜球面中心不可见，需要至少两个光源的像去估计角膜球面中心的空间位置，所以至少需要两个光源。(d)需要进行相机标定，光源位置标定和屏幕位置标定，并且三维视线估计对以上位置非常敏感，相机发生变化不仅要对自身重新进行标定，而且要对光源和屏幕重新进行标定，光源和屏幕发生变化要对自身重新进行标定。

基于二维映射模型的视线估计方法，通过一个经过校准的视线映射函数来估计视线方向，映射函数的输入是从眼睛图像提取的一系列二维眼动特征，输出是视线方向或注视点。二维映射模型不需要估计三维的视线方向，所以不需要使用立体视觉系统，不需要进行相机的标定，不需要进行光源和屏幕三维位置的标定，为低硬件配置条件下的视线估计提供了有效的解决方案。