[发明专利]一种在线学习专注度识别方法

权利要求书

1.一种在线学习专注度识别方法，其特征在于：包括如下步骤:

构建人体疲劳状态检测模块和人体行为识别模块；

通过人体疲劳状态检测模块对采集的人脸数据进行识别并检测出人体的疲劳程度；

通过人体行为识别模块对采集的用户在线学习的图像数据进行识别并检测出用户的学习分心与否。

2.如权利要求1所述的一种在线学习专注度识别方法，其特征在于：所述人体疲劳状态检测模块首先分别获取左右眼和嘴部面部标志的索引，再通过OpenCV软件库中的函数类对视频流进行灰度化处理，检测出人眼和嘴巴的位置信息，然后计算出包括眼睛开合度、眨眼次数，嘴巴开合度，打哈欠频率等数据，构造用于评价疲劳程度的函数并将其与设定阈值比较从而检测出人体的疲劳程度。

3.如权利要求2所述的一种在线学习专注度识别方法，其特征在于：人体疲劳状态检测模块包括眼睛检测步骤、嘴巴检测步骤和疲劳判断步骤，其中眼睛检测步骤包括：

计算左右眼的EAR值，EAR值即为眼睛长宽比的值，并使用左右两眼的平均值作为最终的EAR值；如果连续两帧的EAR值都小于设定的阈值，则表示进行了一次眨眼活动；统计在设定视频流总帧数Roll中符合闭眼特征的帧数Rolleye；

其中嘴巴检测步骤包括：

计算嘴巴的MAR值，MAR值即为嘴巴长宽比的值；连续两帧图像中嘴巴的MAR值大于设定的阈值则认为在进行张嘴打哈欠，统计在设定视频流总帧数Roll中符合打哈欠的帧数Rollmouth；

疲劳判断步骤包括：基于眼睛检测步骤检测的Rolleye值和嘴巴检测步骤中Rollmouth值判断疲劳程度。

4.如权利要求3所述的一种在线学习专注度识别方法，其特征在于：疲劳判断步骤包括中疲劳程度的判断采用构造函数PERCLOS来判断，其中构造函数设定疲劳阈值P1，当ERCLOS值大于P1则判断为疲劳状态，否则判断为清醒状态。

5.如权利要求3所述的一种在线学习专注度识别方法，其特征在于：计算左右眼的EAR值包括：

步骤1：打开摄像头，获取学生的面部图像，再从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化处理；

步骤2：预先训练Dlib库中用于检测人脸区域的界限bounds的关键函数dlib.get_frontal_face_detector()；和Dlib库中用于获得脸部特征位置检测器并输出特征点坐标的关键函数dlib.shape_predictor(predictor path)；

使用dlib.get_frontal_face_detector(gray,0)进行脸部位置检测，循环脸部位置信息，并使用dlib.shape_predictor(gray,rect)获得脸部特征位置的信息。

步骤3：提取帧图像检测人脸，根据脸部特征位置信息对眼部进行粗定位后进行肤色分割；

步骤4：将脸部特征信息转换为数组array的格式，并提取左眼和右眼坐标，眼部精确定位；

步骤5：构造函数计算左右眼的EAR值，其中EAR值为左右两眼的平均值作为最终的EAR值，其中一个眼睛的EAR值计算公式为：

其中P₃₈.y、P₃₉.y、P₄₂.y、P₄₁.y分别为68点人脸特征点中的点38、39、42、41的纵坐标，P₃₇.x、P₄₀.x为68点人脸特征点中的37、40的横坐标；

分别计算两个眼睛的EAR值取平均后为最终的EAR值。