[发明专利]一种处于自然教学环境的课堂中学生学习状态实时分析方法

摘要

本发明提供一种处于自然教学环境的课堂中学生学习状态实时分析方法，包括：对摄像头传入的图像进行分帧处理，转化为静态图像；先用人脸粗检的方法检测教室中的正面人脸，在五分钟后，对学生的静态位置进行标定、分析，判断学生静态位置区域有无人脸出现，该学生位置没有人脸出现，则进行人脸精检；然后将表情识别的七种表情按照积极度进行排序，范围从‑4到2，将头部姿态得到的X,Y,Z，通过函数得到的值按照学生注意力范围进行分类，使用多模态特征融合方法将学生表情和头部姿态融合，得到一个二维矢量，通过二维矢量的值判定当前学生的学习状态。

主权项

1.一种处于自然教学环境的课堂中学生学习状态实时分析方法，其特征在于，包括如下步骤：步骤1，对输入的视频进行分帧处理，将视频流中的每帧转换为静态图像；步骤2，利用dlib人脸检测算法对传入的静态图像进行人脸粗检，获得人脸坐标数据集合，记人脸坐标为[face_xmin,face_ymin,face_xmax,face_ymax]，并依此获得学生静态位置坐标数据集合，记学生静态位置坐标为[body_xmin,body_ymin,body_xmax,body_ymax，frame，hit]，其中，frame为当前视频帧数，代表该学生静态位置坐标出现的帧数，hit值代表当前帧的单个学生静态位置区域内有无人脸，初始化hit值为0；步骤3，分别根据学生静态位置坐标数据集合和人脸坐标数据集合计算学生静态位置区域和人脸区域，并对学生静态位置区域和人脸区域进行计算，得出重叠部分，根据重叠部分判断该学生静态位置坐标是否有人脸出现，如果有人脸出现则将hit值更新为1；步骤4，根据人脸坐标数据集合中的历史人脸坐标逐一计算历史人脸区域，并计算人脸区域与历史人脸区域之间的重叠部分，根据重叠部分判断同一位置区域出现的人脸是否为同一个人，如果是同一人，则将hit值设为2；步骤5，通过hit值判断是否进行人脸精检，hit值为非0值时，直接进入步骤6；hit值为0时，则通过四个级联的卷积神经网络实现人脸精检；步骤6，针对每一帧图像，删除学生静态坐标位置数据集合中任意相邻两个学生静态位置的重叠区域超过位置重合阈值的坐标数据，即删除掉先出现的学生静态位置坐标，并将所有的学生静态位置坐标hit初始化为0，从而对学生静态位置坐标数据集合和学生人脸坐标数据集合进行更新维护；步骤7，逐一读取当前帧精经过双层检测获得的人脸坐标，通过人脸坐标数据集合，剪辑得到人脸图像，将人脸图像传入训练完成的表情卷积神经网络模型中进行人脸表情识别，得到学生表情分类，并存储在人脸面部表情集合中；步骤8，通过人脸坐标计算得出学生头部姿态，并存储在学生头部姿态集合中；步骤9，根据步骤7和步骤8收集到的学生表情和头部姿态进行多模态特征融合分析，得出学生在课堂中的学习状态。