[发明专利]一种基于深度学习的学生表情识别的方法及系统

说明书

本发明涉及一种基于深度学习的学生表情识别的方法及系统，通过获取视频序列中的第一学生的人脸信息视频帧；对所述的第一学生的人脸信息进行特征提取，并构建表情识别模型；基于所述特征对人脸信息进行第一识别；当所述第一识别结果超过预设的阈值时则发出提示信息。

技术领域

本发明属于图像处理领域，更具体地说，是涉及一种课堂监控方法和系统。

背景技术

在教学课堂中，当前老师上课时，有可能观察不到有的同学思想在开小差，没有认真听课，可能导致学生可能错过一些重要知识点。随着图像识别技术的飞速发展，目前也有技术在尝试利用表情识别技术来实时获取课堂中学生的表情，利用摄像头采集图像对摄像头里面的采集图像进行分析，如果有多个人脸，就对每个人脸的面部表情和动作都进行分析，判断出学生当前是否处于开小差的状态。然而，由于课堂持续时间较长，学生人数又较多，持续的数据采集和识别会造成数据量过大，导致整体效率不高。

专利文献CN109035089A公开了一种在线课堂氛围评估系统及方法，评估系统包括视频流采集模块，数据流处理模块，图像分析模块，课堂出勤分析模块，课堂氛围评估模块，课堂氛围评分模块，展示模块；本发明通过摄像头采集教室视频流数据，对采集的视频进行截取一帧一帧的图像，分割所有人脸图像，并按顺序编号，同时把特征值赋给相应编号的人脸，然后再按编号进行人脸识别和面部表情识别，以识别视频流数据中学生的人数、情绪和动作姿态，图像中学生低头则评分为0分，学生有互动行为加1分，再根据学生听课时的情绪分析策略得出当前学生听课状态评分，最终综合评估出课堂氛围评分。本发明能够在线实时评估课堂质量，能够有效提高评估效果。

但是，在教学课堂中，当前老师上课时，有可能观察不到有的同学思想在开小差，没有认真听课，可能导致学生可能错过一些重要知识点。随着图像识别技术的飞速发展，目前也有技术在尝试利用表情识别技术来实时获取课堂中学生的表情，利用摄像头采集图像对摄像头里面的采集图像进行分析，如果有多个人脸，就对每个人脸的面部表情和动作都进行分析，判断出学生当前是否处于开小差的状态。然而，由于课堂持续时间较长，学生人数又较多，持续的数据采集和识别会造成数据量过大，导致整体效率不高。

发明内容

本发明的目的是利用深度学习构建课堂上的学生表情识别模型，提高表情的识别效率。

本发明的目的可以通过以下技术方案来实现：

S1、获取视频序列中的第一学生的人脸信息视频帧；

在所述步骤S1中，采集图像范围需要包含每一个学生座位范围内包括学生头部到桌面所有区域；

对获取到的视频序列中的图像进行预处理，在确定第一学生的人脸位置后确定第一学生的人脸表情区域。

S2、对所述的第一学生的人脸信息视频帧进行特征提取；

在所述步骤S2中：

对训练集中的图像进行特征点标记，通过点分布提取主分量，并将提取到的平均形状作为形状模型；

为使建立的形状模型能适应人脸的各种形变，训练集中应含有学生的人脸姿态、表情，以及不同光照条件的图像，然后提取特征点局部纹理作为正确样本，偏离特征点一定距离的区域纹理作为错误样本，利用支持向量机对所述正确样本和错误样本进行训练，提取出局部纹理模型；

通过所述形状模型和所述局部纹理模型的双重约束构建表情识别模型，并根据所述表情识别模型获取所述第一学生的人脸特征点。

S3、构建表情识别模型，并基于所述特征对人脸信息视频帧进行识别并计算表情特征值；

在所述步骤S3中：

通过由所述形状训练模型和所述局部纹理模型的双抽约束构建的表情识别模型对采集到的人脸特征进行识别。