[发明专利]一种面向静态多人场景的学习状态混合分析方法

说明书

本发明提出一种面向静态多人场景的学习状态混合分析方法。在课堂开始，这时学生专注度高度集中，本发明使用对于正面人脸检速度快且精度高的算法检测出人脸并估计的出学生的静态位置区域，接下来对学生静态位置生命值和hit值进行判断，进而调用对于侧面人脸检测精度高的算法，通过这种双层人脸检测极大的提高了对于教室这一静态多人场景中人脸检测的精度，并且保证了运算速度。对于识别获得的学生的头部姿态和面部表情，本发明通过将学生的头部姿态与周围学生的头部姿态进行对比计算，得到学生的专注度；并对学生表情进行多个分类，表情分类的多样化和学生专注度的计算能够提高多模态特征分析模块分析结果的可靠性。

技术领域

本发明涉及一种面向静态多人场景的学习状态混合分析方法，更具体的，涉及静态多人场景双层人脸检测、学生头部姿态识别、表情识别的多模态信息特征融合，分析处于静态多人场景下学生学习状态的实时分析方法。

背景技术

已有研究表明，在课堂中学生的的积极情绪能够促进学生认知，消极情绪阻碍学生认知。所以在教学过程中，教师要根据学生的情绪状态及时调整教学策略，得到更好的教学效果。传统的掌握学生情绪状态的方法需要教师对班级每一个学生付出极大关注，亦或者通过课后问卷调查得知本节课学生的情绪状态，每种方法都存在费时费力而且效率不高的问题。

在已经公开的CN201810359755-基于多模态信息融合的课堂学习状态监测方法及系统专利中，通过定位教室中的人脸，在人脸区域中估计学生的头部姿态、面部表情，通过无线手环收集学生皮肤电传导信号、收集学生在课堂上互动答题的频率和正确率分别得到学生的注意力、学习情绪、生理唤醒度和课堂参与度四维信息。通过把四维信息融合分析，得到学生的课堂学习状态。在该公开专利中，人脸检测是通过使用本领域已经被大家通用的一些算法和特征来定位人脸区域。当前对于复杂环境下的人脸检测有多种算法，可以根据检测精度和运行速度把当前的算法分为两类，一类是对于正面人脸和侧面人脸检测效果好，精度高但运行速度较慢；一类是对于正面人脸有很高的精度，运行速度快，但对于侧面人脸精度较低。由于在自然课堂这种复杂环境中，学生可能会因为低头、和其他人交谈，注意力不集中出现侧脸等面部区域不易识别的情况，所以单一的算法存在一定的缺陷。CN201810359755-基于多模态信息融合的课堂学习状态监测方法及系统专利进行头部姿态估计时，需要一定的先验知识才能得到学生的头部姿态和注意力情况。先验知识是指通过对学生位置、黑板位置、教师位置的标定，当学生面部朝向上述位置，则判断为学生注意力集中，这种先验知识的获得需要进行一定的前期准备工作，而且只能针对已经标定的课堂环境进行分析。另外该专利是通过使用无线手环来测量学生的皮肤电信号，进而得到学生的生理唤醒度，无线手环这种同类型的穿戴设备对于学生的心理而言，有一定的侵入性，学生的课堂学习状态都是在基于这种侵入性下呈现的，跟真实的课堂呈现的学习状态有一定的区别。

发明内容

为了解决自然课堂教师对于学生情绪状态和学习状态掌控费时费力的情况，本发明通过一种混合下对视频单帧静态图像进行双层人脸检测，定位人脸区域，得到学生面部表情、头部姿态信息和学生静态位置信息，进而通过多模态信息特征融合分析得到学生在课堂中的学习状态。为解决上述技术问题，本发明采用如下的技术方案：一种面向静态多人场景的学习状态混合分析方法，包括如下步骤：

步骤1，读取摄像头实时录制的视频，并对视频进行分帧处理，将每帧都处理为静态图像作为输入；

步骤2，利用双层人脸检测对静态图像进行人脸定位，获得人脸坐标数据集合和学生静态位置坐标数据集合，包括如下子步骤，