[发明专利]面向移动设备的多模型融合驱动的眼动跟踪方法和系统

权利要求书

1.一种面向移动设备的多模型融合眼动跟踪方法，包括下列步骤：

(1)基于外观模型的眼动特征分析；

首先进行数据集准备，利用合成的人眼图像进行缩放、灰度化、滤波等预处理操作后转化为样本集，利用附带的数据文件，提取人眼图像特征点坐标数据并转化为置信度矩阵作为标签集；随后，设计二阶的堆叠沙漏网络模型，设置模型参数，进行模型的训练；神经网络的训练采用有监督的训练方式，监督学习需要的训练数据包含样本集和对应的标签集；经过预处理后的人眼图像输入模型后分为上、下两路采样方式，上半路在原尺度上进行卷积，卷积核大小为1×1，只改变输入图像的深度信息；下半路首先通过最大池化法进行降采样获取深层的特征，再通过最近插值法进行升采样，更深层特征的上下半路采样嵌套在上一层中；最后将两路采样后的特征结果由里到外逐层合并输出；经过一次沙漏网络计算，会生成和一个输入图像大小相同的置信度矩阵，参与到模型损失的计算中；接着，堆叠下一个沙漏网络重新进行上、下两路采样；在训练过程中，随着训练轮次的增加，动态地为图像样本集数据添加高斯噪声，以降低高阶特征对模型训练的影响，防止模型的过拟合；

(2)基于特征模型的眼动数据映射；

在移动设备上进行眼动跟踪时，由于环境光照复杂，以及屏幕与用户之间的距离、角度等不尽相同，会对眼动跟踪的精确性造成影响；为此，需要在眼动注视点计算之前训练映射模型，用于拟合特征向量与屏幕上注视点坐标之间的精确数量关系；映射模型的设计与训练流程如下：在数据集准备阶段，用户需要标定采集数据；具体的，用户按照指示依次看向屏幕中坐标已知的圆点，同时后台程序通过摄像头拍摄用户眼睛图像，应用外观模型分析人眼图像特征，将所提取的特征点进一步组合成眼角中心-瞳孔中心CCPC特征向量，并记录特征向量与对应的屏幕标定点的坐标；待标定过程结束，即完成了眼动数据映射模型数据集的准备；随后，建立二阶的非线性方程，该方程中含有6个未知参数，需要利用标定阶段采集数据集进行模型的训练和参数求解；进一步利用自适应初始值的梯度下降算法进行模型训练，当模型的损失函数小于阈值或者迭代次数到达阈值时，模型训练结束；

(3)多模型融合的眼动注视点计算；

多模型融合的眼动注视点计算，首先通过外观模型提取稳定的、可解释的人眼图像特征，再基于人眼图像特征建立注视点和屏幕之间的映射模型进行注视点计算；首先由移动设备自带的前置摄像头拍摄用户图像，进行基于haar特征的人脸检测与人眼图像提取；将人眼图像作为外观模型的输入，应用外观模型计算图像特征；然后选取图像特征点构建CCPC向量，作为映射模型的输入，应用映射模型计算实时注视点。

2.实施权利要求1所述的一种面向移动设备的多模型融合驱动的眼动跟踪方法的系统，其特征在于：包括依次连接并馈送数据的以下模块:

(1)基于外观模型的眼动特征分析模块，首先通过现有的图像数据集标注人眼的特征作为训练图像数据，然后通过图像增强方法丰富数据集和训练数据质量，接着设计堆叠沙漏结构的卷积神经网络模型，进行人眼图像特征提取；

(2)基于特征模型的眼动数据映射模块，首先在应用外观模型计算特征的基础上，进一步评估并选取合适的特征组成特征向量，采集特征向量与对应的屏幕标定点数据作为映射模型训练需要的数据集；接着，构建二阶非线性的眼动数据映射模型，拟合数据集中的特征向量与屏幕标定点坐标之间的映射关系；

(3)多模型融合的眼动注视点计算模块，首先在移动设备上进行人脸检测和人眼区域图像提取，作为外观模型的输入，提取人眼图像特征点；然后，选取特征组成特征向量，应用映射模型进行注视点计算。