[发明专利]一种面向静态多人场景的学习状态混合分析方法

摘要

本发明提出一种面向静态多人场景的学习状态混合分析方法。在课堂开始，这时学生专注度高度集中，本发明使用对于正面人脸检速度快且精度高的算法检测出人脸并估计的出学生的静态位置区域，接下来对学生静态位置生命值和hit值进行判断，进而调用对于侧面人脸检测精度高的算法，通过这种双层人脸检测极大的提高了对于教室这一静态多人场景中人脸检测的精度，并且保证了运算速度。对于识别获得的学生的头部姿态和面部表情，本发明通过将学生的头部姿态与周围学生的头部姿态进行对比计算，得到学生的专注度；并对学生表情进行多个分类，表情分类的多样化和学生专注度的计算能够提高多模态特征分析模块分析结果的可靠性。

主权项

1.一种面向静态多人场景的学习状态混合分析方法，其特征在于，包括如下步骤：步骤1，读取摄像头实时录制的视频，并对视频进行分帧处理，将每帧都处理为静态图像作为输入；步骤2，利用双层人脸检测对静态图像进行人脸定位，获得人脸坐标数据集合和学生静态位置坐标数据集合，包括如下子步骤，步骤2.1，对步骤1传入的静态图像进行人脸粗检，使用haar分类器进行人脸检测，获得人脸坐标数据集合和学生静态位置坐标数据集合，记人脸坐标为[face_xmin，face_ymin,face_xmax,face_ymax,central_x,central_y,direction,emotion,active,attention]；其中face_xmin代表人脸在静态图像中的左上角横坐标；face_ymin代表人脸在静态图像中的左上角的纵坐标；face_xmax代表人脸在静态图像中的右下角横坐标；face_ymax代表人脸在静态图像中的右下角的纵坐标central_x,central_y表示人脸区域中心点的横纵坐标值，direction表示头部的面部朝向，emotion表示学生面部表情，active表示学生活跃程度，attention表示学生当前注意力情况，四个参数的初始值为0；步骤2.2，判断学生静态位置坐标数据集合是否为空值，如果为空值直接进行步骤2.3，非空值则进行如下计算，分别根据学生静态位置坐标数据集合和人脸坐标数据集合计算学生静态位置区域和人脸区域，并对学生静态位置区域和人脸区域进行计算，得出重叠部分，根据重叠部分判断该学生静态位置坐标是否有人脸出现，如果有人脸出现则将hit值更新为1，life值加1；步骤2.3，根据人脸坐标数据集合中的历史人脸坐标逐一计算历史人脸区域，并计算人脸区域与历史人脸区域之间的重叠部分，根据重叠部分判断同一位置区域出现的人脸是否为同一个人，如果被认为是同一人脸的次数达到人脸稳定阈值，则标定学生静态位置坐标并储存，得到学生静态位置坐标数据集合，记学生静态位置坐标为[body_xmin,body_ymin,body_xmax,body_ymax，hit，life]，其中hit值表示当前学生静态位置有无人脸，将hit值设为2，life值表示学生静态位置坐标的生命值，life初始值为人脸稳定阈值；步骤2.4，通过hit值判断是否进行人脸精检，hit值为非0值时，直接进入步骤3；hit值为0时，则通过六个级联的卷积神经网络实现人脸精检，如果检测到人脸，则life值加1；步骤3，通过人脸坐标定位人脸区域，对人脸区域进行表情识别和头部姿态识别，将得到的两个特征进行融合分析，得出学生学习状态，包括如下子步骤，步骤3.1，逐一根据经过步骤2的人脸坐标数据集合中的人脸坐标裁剪为图像，将裁剪所得图像传入训练完成表情卷积神经网络模型中进行人脸表情识别，得到学生表情分类，并存储在人脸面部表情集合中，按照识别所得学生表情更新emotion和active的值；步骤3.2，通过人脸坐标计算得出学生头部姿态，根据学生头部姿态判断学生人脸朝向，并存储在学生头部姿态集合中，按照识别所得的学生人脸朝向更新direction的值；步骤3.3，根据步骤3.1和步骤3.2收集到的学生表情和头部姿态进行多模态特征融合分析，得到attention值进行更新，进而得出学生在课堂中的学习状态；步骤4，将得到的学生学习状态和学生人脸坐标做数据可视化处理；步骤5，将学生静态坐标位置数据集合中所有的学生静态位置坐标hit初始化为0，life值减1，并删除学生静态位置坐标数据集合中life值为0的坐标，并且对学生人脸坐标数据集合进行更新维护。