[发明专利]基于微表情识别的教学评价方法、装置、电子设备及介质

权利要求书

1.一种基于微表情识别的教学评价方法，其特征在于，所述方法包括：

获取多个面部视频，并基于像素差异将每个面部视频分割为多个视频片段，每个视频片段仅包括同一个人的同一个面部微表情的连续多帧面部图像；

利用时间插值模型基于所述视频片段提取目标微表情图像序列，其中，不同的目标微表情图像序列中目标微表情图像的帧数相同；

利用CNN神经网络提取所述目标微表情图像序列的特征向量序列；

利用注意力机制基于所述特征向量序列训练LSTM网络得到微表情分类模型；

使用所述微表情分类模型对学生在教学中的面部视频进行微表情分类，并根据分类结果中的每类微表情对应的分类概率及对应的微表情权重计算得到学生的情绪度；采用如下公式，根据所述学生的情绪度及对应的目标考评度计算得到学生的课堂状态度，其中，Sj表示第j个学生的情绪度，M_j为第j个学生的目标考评度，F_j表示第j个学生的课堂状态度；根据多个学生的课堂状态度计算教学评分。

2.如权利要求1所述的基于微表情识别的教学评价方法，其特征在于，所述利用时间插值模型基于所述视频片段提取目标微表情图像序列包括：

提取所述视频片段中的多个微表情图像；

利用回归局部二元特征法对所述多个微表情图像进行人脸特征点检测；

根据所述人脸特征点对所述多个微表情图像进行对齐处理及归一化处理得到多个目标微表情图像；

利用时间插值模型基于所述多个目标微表情图像进行插值处理得到目标微表情图像序列。

3.如权利要求2所述的基于微表情识别的教学评价方法，其特征在于，所述基于像素差异将每个面部视频分割为多个视频片段包括：

(a)从所述面部视频的第一帧面部图像开始，计算第二帧面部图像与所述第一帧面部图像之间的第一像素差异；

(b)判断所述第一像素差异是否小于预设像素差异阈值；

(c)当确定所述第一像素差异小于所述预设像素差异阈值时，计算第三帧面部图像与所述第二帧面部图像之间的第二像素差异；

(d)判断所述第二像素差异是否小于所述预设像素差异阈值；

(e)当确定所述第二像素差异大于或者等于所述预设像素差异阈值时，以所述第三帧面部图像为分割点分割所述面部视频得到第一视频片段和第二视频片段，并从所述第二视频片段的第一帧面部图像开始，重复上述(a)-(d)的过程，直到将所述面部视频分割为多个视频片段。

4.如权利要求1至3中任意一项所述的基于微表情识别的教学评价方法，其特征在于，所述利用CNN神经网络提取所述目标微表情图像序列的特征向量序列包括：

输入所述目标微表情图像序列中每个目标微表情图像至CNN神经网络中进行训练；

获取训练完成的CNN神经网络的倒数第二层卷积层输出的每个目标微表情图像的特征；

将每个目标微表情图像的特征输入至reshape层；

使用所述reshape层将多个所述特征拼接为特征向量序列。

5.如权利要求4所述的基于微表情识别的教学评价方法，其特征在于，所述利用注意力机制基于所述特征向量序列训练LSTM网络得到微表情分类模型包括：

基于所述特征向量序列训练LSTM网络；

将所述LSTM网络的输出层输入到Attention层，其中，所述Attention层对所述特征向量序列中的不同特征赋予不同的权重；

将所述Attention层的输出结果输入到全连接层；

通过所述全连接层得到多种微表情的预测分类标签；

基于所述预测分类标签和期望分类标签对所述LSTM网络进行优化得到微表情分类模型。

6.如权利要求5所述的基于微表情识别的教学评价方法，其特征在于，在获取多个面部视频之后，所述方法还包括：

提取每个面部视频中的多帧第一面部图像；

利用加速图像超分辨率重建的卷积神经网络对每帧第一面部图像进行重建，得到第二面部图像；

将多帧第二面部图像合成为面部视频。