[发明专利]一种在线学习专注度识别方法

说明书

本发明公开了一种在线学习专注度识别方法，包括如下步骤:构建人体疲劳状态检测模块和人体行为识别模块；通过人体疲劳状态检测模块对采集的人脸数据进行识别并检测出人体的疲劳程度；通过人体行为识别模块对采集的用户在线学习的图像数据进行识别并检测出用户的学习分心与否。本发明的优点在于：本发明能够有效地实时检测线上教育学生的注意力状态，分析学生的听课专注度情况，是更好衡量网络教学质量的重要指标，有助于提高网课教学质量，更好地拓展素质教育线上教学。

技术领域

本发明涉及计算机视觉分析领域，特别涉及一种基于YOLOv5和Dlib模型的学生在线学习专注度识别分析系统。

背景技术

目前，随着智能电子设备的普及以及教育形式的多元化，网络授课这种学习方式逐渐被引入高校的教育模式中，其中，学生的疲劳与注意力分散成为影响网络教育效果的主要因素。传统的课堂在获取教学反馈方式上耗时耗力，教师既要兼顾课堂所授内容的质量，同时又要监管学生的听课认真情况，就会造成教学质量的下降，并且教师无法时刻关注每名学生的上课状态。网课方便师生的同时，也存在着因为条件限制，对上网课的学生无法监管的问题。网课的教学方式仅仅是观看视频，而老师无法像传统课堂教学那么实时了解每个学生的听课效果和专注程度，老师无法监控或得到学生的听课反馈，导致学生上网课的听课质量大打折扣。因此，如何通过计算机视觉技术的方式自动的识别学生的网课过程中的专注度，对于网络教学来说至关重要，现有技术中尚没有相关文献公开。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于YOLOv5和Dlib模型的学生在线学习专注度识别分析方法，用于对学生在线学习的专注度进行自动识别。

为了实现上述目的，本发明采用的技术方案为：

一种在线学习专注度识别方法，包括如下步骤:

构建人体疲劳状态检测模块和人体行为识别模块；

通过人体疲劳状态检测模块对采集的人脸数据进行识别并检测出人体的疲劳程度；

通过人体行为识别模块对采集的用户在线学习的图像数据进行识别并检测出用户的学习分心与否。

所述人体疲劳状态检测模块首先分别获取左右眼和嘴部面部标志的索引，再通过OpenCV软件库中的函数类对视频流进行灰度化处理，检测出人眼和嘴巴的位置信息，然后计算出包括眼睛开合度、眨眼次数，嘴巴开合度，打哈欠频率等数据，构造用于评价疲劳程度的函数并将其与设定阈值比较从而检测出人体的疲劳程度。

人体疲劳状态检测模块包括眼睛检测步骤、嘴巴检测步骤和疲劳判断步骤，其中眼睛检测步骤包括：

计算左右眼的EAR值，EAR值即为眼睛长宽比的值，并使用左右两眼的平均值作为最终的EAR值；如果连续两帧的EAR值都小于设定的阈值，则表示进行了一次眨眼活动；统计在设定视频流总帧数Roll中符合闭眼特征的帧数Rolleye；

其中嘴巴检测步骤包括：计算嘴巴的MAR值，MAR值即为嘴巴长宽比的值；连续两帧图像中嘴巴的MAR值大于设定的阈值则认为在进行张嘴打哈欠，统计在设定视频流总帧数Roll中符合打哈欠的帧数Rollmouth；

疲劳判断步骤包括：基于眼睛检测步骤检测的Rolleye值和嘴巴检测步骤中Rollmouth值判断疲劳程度。

疲劳判断步骤包括中疲劳程度的判断采用构造函数PERCLOS来判断，其中构造函数设定疲劳阈值P1，当PERCLOS值大于P1则判断为疲劳状态，否则判断为清醒状态。

计算左右眼的EAR值包括：步骤1：打开摄像头，获取学生的面部图像，再从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化处理；