[发明专利]一种实时课堂注意力检测方法及系统

说明书

本发明涉及一种实时课堂注意力检测方法及系统，所述检测方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。与现有技术相比，本发明具有处理速度快、准确率高、能在低分辨率的情况下获得更好检测结果的优点。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种实时课堂注意力检测方法及系统。

背景技术

在传统的教学活动中，教学情境的教师行为、学生行为、师生互动、课堂氛围等事件的评估手段，一般还停留在学生问卷调查、教师自主观察或视察课堂等人工方式。传统的人工评估方式的评价结果过于主观、需要花费观察人员大量时间精力去统计分析、反馈周期过长，不能对教师的课堂行为进行及时反馈和调整。

随着人工智能技术的迅速发展以及计算机算力的跃升，人脸检测算法已经能够准确、快速地在一张照片中对人脸进行定位，并对人脸特征进行提取。随着技术的提升，人脸检测算法已经很普遍地用于铁路安防系统、公安机关、移动警务和某些特定的场合，不仅提高了业务的效率，还减少了人力成本。

在部分学校，人脸检测算法已经应用于日常学习生活。

专利申请CN104517102A公开了一种注意力检测方法，该方法包括：采集教室内场景图像；定位人脸并计算人脸朝向态将人脸在图像中的二维位置换算为其在教室内坐高基准平面的二维位置；加入学生坐高先验值得到人脸在教室内的三维空间位置；结合人脸三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。但该方法中，头部姿态估计的使用回归森林法，效果不理想，若处理多个人脸运行速度过慢，延迟大；预测的欧拉角仅仅被分为若干个类别，提取的特征过少，准确性难以保证。

专利申请CN109657553A公开了一种注意力检测方法，主要是根据眼睛状态来判断学生的注意力情况，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；使用算法提取面部特征，检测眼部状态(在实际情况中，将眼部长时间闭合和眼部长时间未检测到归为注意力涣散)；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。但该方法还存在以下不足：1)用眼睛的涣散程度和眼部视线方位来判断注意力成本过高，难以检测到有效的眼部数据，安装多个摄像头成本又过高，实现的参考效果有限；2)课堂环境中，课堂空间大，人数过多，后排人脸分辨率仅仅只能达到32×32左右；3)教室摄像头安装位置一般在教室的四个顶角，在正常课堂授课环境中，遮挡现象极其严重。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种实时课堂注意力检测方法及系统，处理速度快、准确率高，能在低分辨率的情况下获得更好的结果。

本发明的目的可以通过以下技术方案来实现：

一种实时课堂注意力检测方法，该方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。

进一步地，采用基于多任务卷积神经网络的深度学习模型进行所述人脸识别，获得人脸区域和人脸特征点坐标，以人脸特征点的鼻子坐标位置作为所述对象位置。

进一步地，采用头部姿态估计深度学习模型对所述人脸区域进行处理，获得以正视图为参考系的对象的头部姿态，基于所述头部姿态获得对象的注意力欧拉角。

进一步地，基于所述头部姿态获得对象的注意力欧拉角具体为：

设置基准欧拉角，将所述头部姿态减去基准欧拉角，获得所述注意力欧拉角。