[发明专利]面向移动设备的多模型融合驱动的眼动跟踪方法和系统

说明书

面向移动设备的多模型融合驱动的眼动跟踪方法，包括如下步骤：(1)基于外观模型的眼动特征分析；(2)基于特征模型的眼动数据映射；(3)多模型融合的眼动注视点计算。本发明还提供了面向移动设备的多模型融合驱动的眼动跟踪系统，包括依次连接并馈送数据的以下模块：基于外观模型的眼动特征分析模块；基于特征模型的眼动数据映射模块；多模型融合的眼动注视点计算模块。本发明扩展了目前移动设备上的眼动跟踪方法，提高了移动设备在复杂交互环境下的的眼动跟踪精度、计算速度和稳定性。

技术领域

本发明涉及一种眼动跟踪方法和系统。

背景技术

常用的眼动跟踪方法主要包括基于外观模型和基于特征模型两类：基于外观模型的眼动跟踪方法输入人眼外观图像，随后构建卷积神经网络作为外观模型，提取人眼图像不可解释的隐含特征，然后进行眼动注视点计算；基于特征模型的眼动跟踪方法输入明确可解释的人眼图像特征，对人眼图像进行预处理，提取图像特征,随后建立图像特征与眼动注视点之间的映射方程进行眼动注视点计算。两类方法的优缺点如下：基于外观模型的眼动跟踪方法优点在于采用了神经网络模型，计算图像特征时受环境光照影响较小，无需根据环境的变化而调整阈值参数，使用方便，但缺点在于卷积神经网络模型复杂，注视点计算精度较低，计算能力要求较高，不适合在移动设备中使用。基于特征模型的眼动跟踪方法优点在于对人眼图像提取了易于解释的特征，眼动注视点计算精度高，计算能力要求低；但缺点在于图像特征的提取对参数敏感，且受环境光照、用户头部运动等外在因素影响较大，使用不便。

在移动设备上进行眼动跟踪，实现基于移动设备的人机交互应用越来越受到人们的关注。但是，目前移动设备存在的问题包括：(1)硬件条件受限，例如CPU处理能力较弱、摄像头分辨率不高、内存容量较小；(2)使用环境较复杂，光照变化大。因此，在移动设备上实现眼动跟踪，不仅要降低计算复杂度以适应移动设备的硬件条件，同时还需要保证较高的眼动注视点计算精度，还要兼顾移动设备的便捷性和易用性，为此本发明融合外观模型与特征模型，面向移动设备提出一种新的眼动跟踪方法，利用外观模型提取稳定的图像特征，利用特征模型计算注视点。

发明内容

本发明要克服现有技术的上述缺点，提出面向移动设备的多模型融合驱动的眼动跟踪方法。

面向移动设备的多模型融合驱动的眼动跟踪方法，包括如下步骤：

(1)基于外观模型的眼动特征分析；

(2)基于特征模型的眼动数据映射；

(3)多模型融合的眼动注视点计算。

本发明还提供了面向移动设备的多模型融合驱动的眼动跟踪系统，包括依次连接并馈送数据的以下模块：

(1)基于外观模型的眼动特征分析模块；

(2)基于特征模型的眼动数据映射模块；

(3)多模型融合的眼动注视点计算模块。

本发明的优点：扩展了目前移动设备上的眼动跟踪方法，提高了移动设备在复杂交互环境下的的眼动跟踪精度、计算速度和稳定性。具体包括：

1)提高了移动设备上眼动跟踪的精确度。由于现有的方法不足，移动设备眼动跟踪系统很难兼顾移动设备便携性，注视点计算精度，模型计算复杂度等多项指标。结合外观模型特征点提取较稳定的优点和特征模型注视点计算精度较高的优点，在只利用移动设备自身硬件的条件下，提高移动设备眼动跟踪精度。

2)提高了移动设备上眼动跟踪的计算速度。外观模型仅用于学习和提取明确的图像特征，因此模型简单，计算量低，图像特征提取速度快；进一步采用特征模型计算眼动注视点，避免了传统外观模型由于大量数据训练带来的时间开销，在移动设备上实现了更快的眼动跟踪计算速度。