[发明专利]基于人脸监测的课堂学生状态分析方法及装置

权利要求书

1.一种基于人脸监测的课堂学生状态分析方法，其特征在于，包括：

采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；

检测所述课堂图像中各个学生的人脸的面部动作；

基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；

将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。

2.根据权利要求1所述的方法，其特征在于，所述检测所述课堂图像中各个学生的人脸的面部动作包括：

基于OpenPose识别装置，识别所述课堂图像中各个学生的人脸关键点；以及

基于所识别的人脸关键点的位置，确定相对应的所述各个学生的人脸的面部动作。

3.根据权利要求1所述的方法，其特征在于，所述课堂状态还包括课堂专注度，在所述将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告之前，所述方法还包括确定各个学生的课堂专注度，所述确定各个学生的课堂专注度包括：

提取所述课堂图像中各个学生的人脸关键点；

基于低头动作神经网络模型模块和所提取的各个学生的人脸关键点，识别所述课堂图像中对应低头动作的学生，其中该神经网络模型依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的；

统计所述课堂图像中对应低头动作的学生占所述课堂图像中所有学生的比例，并基于所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景；以及

当所述课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计各个学生未面向教师的时间长度；

根据所统计的时间长度，确定各个学生的课堂专注度。

4.根据权利要求3所述的方法，其特征在于，所述教育分析报告还包括对应于课堂状态的教育建议，所述方法还包括：

将各个学生的所述课堂专注度与预设定的专注度阈值进行对比；

当各个学生中目标学生的所述课堂专注度低于所述专注度阈值时，生成针对所述目标学生的教育建议；

在所述目标学生的教育分析报告中存储所生成的教育建议。

5.根据权利要求4所述的方法，其特征在于，所述生成对应于课堂状态的教育建议包括：

统计所述目标学生在一天中出现各种面部表情的时长；

基于所统计的各种面部表情分别对应的时长，确定主要面部表情，其中所述主要面部表情为所统计的时长超过了预定的时长阈值的面部表情；

从教育建议库中确定对应于所述主要面部表情的教育建议作为所述目标学生的教育建议，其中所述教育建议库中存储有多种面部表情和相对应的多个教育建议。

6.根据权利要求5所述的方法，其中，所述从教育建议库中确定对应于所述主要面部表情的教育建议包括：

当所述主要面部表情指示长时间的面部开心表情时，则确定对应于所述面部开心表情的关于管束学生玩闹的教育建议；

当所述主要面部表情指示长时间的面部困惑表情时，则确定对应于所述面部困惑表情的关于加强辅助该课堂内容学习的教育建议；以及

当所述主要面部表情指示长时间的面部疲惫表情时，则确定对应于所述面部疲惫表情的关于在家中注意休息睡眠的教育建议。

7.根据权利要求1所述的方法，其特征在于，所述识别该课堂图像中多个学生的身份信息包括：

从人脸考勤设备获取学生人脸图像相对应的学生的身份信息，其中所述学生人脸图像是由所述人脸考勤设备所采集的；

将所获取的所述学生人脸图像和所述学生的身份信息关联至所述课堂图像中。