[发明专利]头戴式眼动追踪设备及其眼动追踪方法

说明书

本发明提供了一种头戴式眼动追踪设备及其眼动追踪方法。头戴式眼动追踪设备包括头戴式主体、第一摄像机、第二摄像机以及控制系统。第一摄像机设置在头戴式主体上，用于采集佩戴者的眼部运动图像。第二摄像机设置在头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像。控制系统与第一摄像机和第二摄像机分别连接。控制系统包括图像剪裁预处理模块、眼部运动图像处理模块、视野图像处理模块、回归模型建立模块以及注视点位置确定模块。本发明通过获取校准阶段瞳孔中心位置坐标和校准阶段标志物中心位置坐标，构建回归模型，利用这一回归模型计算使用者注视点位置，以实现眼动追踪，所需硬件设备简单，成本低廉，能应用于大规模使用场景中。

技术领域

本发明涉及眼动仪器仪表技术领域，具体地，涉及头戴式眼动追踪设备及其眼动追踪方法。

背景技术

随着科技发展及市场需要，眼动仪的应用价值在越来越多的场景中得到了注意，近年来眼动仪在心理学与神经科学，用户体验与交互，市场与消费者和技能学习与实践等诸多研究领域得到了广泛应用。

传统桌面式眼动仪需要将观看材料呈现在显示器上，受试者在显示器前接受测试，然而许多研究需要受试者处在真实的场景中才能有效地进行。例如在购物场景中研究商品包装对消费者的影响，在技能实践场景中研究非熟练者和熟练者之间的差异，在博物馆场景中研究参观者的关注点等，这些研究都需要使用头戴式眼动仪。而且，在VR/AR领域的研究更是需要用头戴式的眼动仪以保证沉浸式的体验。

发明内容

考虑到上述问题，根据本发明的一个方面，提供一种头戴式眼动追踪设备。

本发明提供地头戴式眼动追踪设备，包括：

头戴式主体；

第一摄像机，设置在所述头戴式主体上，用于采集佩戴者的眼部运动图像；

第二摄像机，设置在所述头戴式主体上，用于采集佩戴者正前方的刺激图片的视野图像；

控制系统，与所述第一摄像机和所述第二摄像机分别连接；

其中，所述控制系统包括：

图像剪裁预处理模块，用于将所述眼部运动图像及所述视野图像转化为灰度图，并剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；

眼部运动图像处理模块，用于对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；

视野图像处理模块，用于对剪裁后的视野图像进行处理以提取刺激图片的标志物中心位置；

回归模型建立模块，用于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；以及

注视点位置确定模块，用于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。

示例性地，所述控制系统还包括视频同步模块，用于提取于一提示音后采集的眼部运动图像的第一音频信号及该提示音后采集的视野图像的第二音频信号，分别对第一音频信号及第二音频信号进行变换计算得到第一音频信号包络和第二音频信号包络，并根据第一音频信号包络和第二音频信号包络将眼部运动图像与视野图像对齐。

示例性地，所述眼部运动图像处理模块包括：

阈值设定模块，用于设定瞳孔初始二值化阈值；

图像二值化模块，用于将剪裁后的眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，之后去除边界区域；以及

瞳孔中心位置提取模块，用于判断图像中联通的各区域边界是否为椭圆形，大小是否满足瞳孔初始二值化阈值，如果同时满足条件取其椭圆中心为瞳孔中心位置；如果椭圆形过小，则提高二值化阈值重新检测；如果椭圆形过大则降低二值化阈值重新检测；如果无法找到椭圆形则保留上一帧检测结果。