[发明专利]基于视觉追踪的用户注视点估计和精度评估方法

说明书

本发明公开了一种基于视觉追踪的用户注视点估计方法，用户佩戴头戴式眼动交互设备，利用注视点提取模块获取用户的注视点坐标，通过残差估计模块计算出用户的眼动偏移量与注视点坐标的残差，再将得到的残差送入偏移量自适应模块对注视点坐标进行更新，得到最终的用户注视点估计值。本发明还公开了一种对用户注视点估计方法进行精度评估的方法，用户佩戴头戴式眼动交互设备，依次凝视显示界面上显示的精度测试点，获取用户的注视点坐标，计算并获取眼动精度；对所有子区域的眼动精度值取平均，得到最终的眼动精度的评估值。本发明可实现提取自适应个体差异的眼动偏移量，对眼动算法的鲁棒性和泛化能力提升有非常重要的意义。

技术领域

本发明涉及数字图像处理领域，具体涉及一种基于视觉追踪的用户注视点估计和精度评估方法。

背景技术

眼球追踪也称为视线追踪技术，是一种通过提取眼球运动相关参数来估算视线和注视点坐标的技术。随着眼球追踪技术的不断发展，该技术在人机交互、行为分析等领域的应用场景也不断丰富。

由于眼球追踪技术是通过头戴式眼动设备采集人体眼动生理信号进行处理与分析，因此该项技术与每个用户的眼睛差异性生理结构以及设备的个性化使用习惯强相关。一方面，由于眼动信号是人体的生理信号，不同个体本身就存在生理结构的差异，因此眼动追踪算法需要能够自适应个体生理结构的差异，才能有效地保证眼动精度。另一方面，现有的头戴式眼动设备是基于光学记录方法通过红外光源照射眼球，采用高速眼图相机采集近眼图片。图像采集设备设置于靠近眼部的前方，图像采集设备与眼部所在的水平方向存在一定的夹角，不同的被试人员在使用同一部眼动追踪设备时会有不同的使用习惯，这会直接影响眼动设备采集到的眼动参数，从而会造成眼动精度的大幅波动。此外，对于戴眼镜的用户，眼镜的佩戴会造成出瞳距离的变化并且眼球可能受到一定程度的遮挡，也会影响眼动算法推理结果的精度偏差。

发明内容

针对现有的眼球追踪技术与每个用户的眼睛差异性生理结构以及设备的个性化使用习惯强相关的问题，本发明公开了一种基于视觉追踪的用户注视点估计和精度评估方法。

本发明公开了一种基于视觉追踪的用户注视点估计方法，其具体包括：

用户佩戴头戴式眼动交互设备，利用注视点提取模块获取用户的注视点坐标，通过残差估计模块计算出用户的眼动偏移量与注视点坐标的残差，再将得到的残差送入偏移量自适应模块对注视点坐标进行更新，得到最终的用户注视点估计值。

所述的注视点提取模块，其通过多个深度卷积神经层叠加多个扩张卷积层构成的深度学习人工神经网络来实现，将头戴式眼动交互设备采集的用户双眼图片作为该模块的输入，该模块的输出为提取到的用户的注视点坐标值。

所述的利用注视点提取模块获取用户的注视点坐标，首先构建样本数据集，然后搭建深度学习人工神经网络，对该深度学习人工神经网络进行训练和测试，利用训练完成的深度学习人工神经网络作为注视点提取模型，使用注视点提取模型获取用户的注视点坐标。

所述的样本数据集的构建，需要若干用户佩戴头戴式眼动交互设备，用户注视该设备的显示界面中不断移动的目标锚点，该目标锚点通过蛇形遍历的方式依次移动至显示界面的每行每列像素点位置处，目标锚点在移动过程中变换三种以上不同的移动速度，头戴式眼动交互设备采集用户注视不断移动的目标锚点的眼部图像，该目标锚点完成一次蛇形遍历后，即完成一轮样本数据提取。在每一轮样本数据提取过程中，头戴式眼动交互设备上搭载的近眼高速摄像头在目标锚点蛇形遍历到显示界面上的每个像素点位置上时，保存该时刻的用户双眼图像以及其注视的目标锚点的位置坐标值，用户双眼图像和其注视的目标锚点的位置坐标值作为该样本数据集的样本和标签，从而完成对该样本数据集的构建。