[发明专利]基于视线估计的在线学习注意力跟踪方法及其应用

说明书

本申请公开了一种基于视线估计的在线学习注意力跟踪方法及其应用，该方法包括：获取待检测对象的面部图像、眼睛图像和双眼红外图像，以及待检测对象所处学习环境的场景图像；场景图像中包含与待检测对象进行交互的学习设备的图像；将面部图像、眼睛图像和双眼红外图像输入视线估计识别模型中，获得相机坐标系下待检测对象双眼的三维注视方向；将相机坐标系下的三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点；根据二维注视点与场景图像中的学习区域的位置关系，生成待检测对象当前的注意力检测结果；本发明实现头部姿态以及两种眼部特征的互补，提高复杂背景下的视线估计的准确性，为提高学生线学习注意力提供客观支撑数据。

技术领域

本申请涉及智能人机交互技术领域，更具体地，涉及一种基于视线估计的在线学习注意力跟踪方法、计算机设备及可读介质。

背景技术

随着教育信息化的高速发展，人工智能技术已经被越来越多地应用于教育教学过程中。近年来，新型冠状病毒肺炎的爆发打破了传统的线下教学模式，在线远程教学的方法一时间被广泛采用。然而，在没有教师近距离监督的情况下，如何实现远程监督或自监督的方式保证学习者独立学习的学习状态和学习效率，成为亟待解决的问题。因此，采取一种在线学习注意力跟踪方法来辅助学习者进行在线学习，对于提高学习者在线学习的学习效率具有十分重要的意义。

学习注意力的检测与跟踪可以通过对学习者在学习过程中的视线方向估计这一角度入手；广义的视线估计泛指对于眼球、眼动、视线等相关的研究。一般来说，视线估计方法可以分为基于模型的方法和基于表观的方法两大类。基于模型的方法的基本思想是基于眼睛角膜反射等特征，结合3D眼球先验知识，估计视线方向。而基于表观的方法则是直接提取眼睛的视觉特征，训练回归模型，学习一个将外观映射到视线方向的模型，从而进行视线估计。通过对比分析，基于模型的方法获得的精度较高，但对图像的质量和分辨率要求也较高，为了达到这一目的，通常要求使用专门的硬件，且对用户的头部姿态等移动性限制很大；而基于表观的方法对低分辨率和高噪声的图像表现更好，但其模型的训练需要大量数据，并且容易出现过拟合现象。随着深度学习的发展以及大量数据集的公开，基于表观的方法受到越来越多关注。

Zhang在其论文“Appearance-based gaze estimation in the wild”最早尝试使用神经网络来做视线估计，其采用单眼图像作为输入，利用LeNet的浅层网络进行学习，并将头部姿态信息与提取到的眼睛特征拼接进行视线估计，最终在MPIIGAZE数据集上得到6.3°的误差。后来，Zhang在其论文“It’s Written All Over Your Face:Full-FaceAppearance-Based Gaze Estimation”又提出了基于注意力机制的全脸视线估计方法，该方法利用注意力机制增大眼睛区域的权重，抑制其他与凝视无关的区域的权重，采用端到端的学习策略，直接得到相机坐标系下的视线方向。Park等在其论文中“Deep pictorialgaze estimation”提出了一种基于眼睛图形表示的视线估计方法，他们通过深度网络将眼睛抽象为一个眼球图形表示来提升视线估计的精度，其中，眼球图形表示这一监督信号是由视线的真实值经几何方法反推生成的。Yu等其论文“Deep multitask gaze estimationwith a constrained landmark-gaze model”也在同年基于多任务学习的思想提出了一种基于约束模型的视线估计方法，该方法在估计视线的同时检测眼睛关键点位置，两个任务同时学习，信息互补，可以在一定程度上得到共同提升，实验证明该模型取得了比直接回归方法更准确的结果。

目前，虽然对视线估计技术的研究取得了很大的进步，但是基于通用模型和单一眼部特征获得的视线估计的精度有限，此外用户头部的移动幅度会对测量结果产生较大影响，降低识别精度，进而限制在线学习注意力跟踪检测的准确性。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于视线估计的在线学习注意力跟踪方法及其应用，可以实现不同模态的信息互补，其目的在于提高复杂背景下的视线估计的精准度，从而提高线学习注意力判断的可靠性。