[发明专利]一种基于深度学习的教师课堂表现智能评价方法

权利要求书

1.一种基于深度学习的教师课堂表现智能评价方法，其特征在于，所述方法包括以下步骤：

步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；

步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；

步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；

步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。

2.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述面部表情识别包括以下步骤：

S11.对授课视频帧进行人脸检测，得到人脸帧；

S12.以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量，所述面部表情向量中的每个元素表示所述人脸帧中人脸表情是某种面部表情的概率。

3.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和/或头部姿态矫正。

4.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述语音识别包括以下步骤：

S13.对授课音频进行MFCC特征提取和Ivector特征提取；

S14.对MFCC特征进行情感分析得到情感分析向量，对Ivector特征进行说话人识别，得到课堂交互信息；

所述情感分析向量与面部表情向量维度相同，每种感情对应向量中的一个元素，代表判定为该种情感的概率；课堂互动信息表示师生互动行为发生的概率。

5.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述行为识别包括以下步骤：

S15.对授课视频帧进行骨架图提取，得到骨架图；

S16.使用变分自编码器提取骨架图的动作类型特征；

S17.以骨架图的动作类型特征为输入，通过基于LSTM的循环神经网络进行行为分类识别，得到行为分类向量；

所述行为分类向量中的每个元素表示每种行为动作的判别概率。

6.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，面部表情向量为A，情感分析向量为B，情感状态向量Emotion＝αA+βB，α、β分别为面部表情向量、情感分析向量的权重。

7.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，授课状态向量由这段时间内教师的行为分类向量和课堂交互信息组合而成。

8.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，教师课堂表现与评分结果呈线性关系，评分越高，则教师课堂表现越好，反之则表现欠佳。

9.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述教师课堂表现智能评价方法包括：根据面部表情向量、情感分析向量或者课堂互动信息，针对性地对教师的授课方式提出改进意见。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的教师课堂表现智能评价方法。