[发明专利]课堂行为分析方法、系统及电子设备

权利要求书

1.一种课堂行为分析方法，应用于多媒体课堂教学，通过人工智能技术及大数据技术实现课堂录播、无感式人脸考勤及课堂行为分析，其特征在于，包括如下步骤：

步骤S10、录制课堂视频的同时实时采集教学过程中教师与学生的生物信息，所述生物信息包括行为数据、位置数据、表情数据及肢体动作数据；

步骤S20、根据所述生物信息进行多维度分析并生成课堂质量报告；

步骤S30、将录制的课堂视频及生成的课堂质量报告发送至云端保存。

2.根据权利要求1所述的课堂行为分析方法，其特征在于，所述步骤S20包括如下子步骤：

步骤S21、对教师的生物信息进行编码得到教学行为分析，所述教学行为分析包括老师讲授、指导学生、学生演示汇报、教师板书、师生互动、学生讨论、课件展示及教学资源展示，对各类型的教学行为进行生成出现时间及持续时长的可视化报告；

步骤S22、对学生的生物信息进行编码得到学生考勤分析，对教室内满足识别条件的人脸进行识别，同时，通过实时分析技术搭配学生离场动作识别，对学生早退人数进行识别，生成具有出席人数、应到人数、迟到人数、早退人数及出席率的可视化报告；

步骤S23、对学生的生物信息进行编码得到学生学情分析，根据所述生物信息利用大数据算法分析学生学情，所述学生学情分析包括学生专注度分析、学生动作分析及学生表情分析。

3.根据权利要求2所述的课堂行为分析方法，其特征在于，所述步骤S23包括如下子步骤：

步骤S231、学生专注度分析，建立学生专注度的大数据采集标准，采用大数据算法计算整堂课各阶段学生的专注度情况，并以时间轴的形式对学生在课堂时间内的专注度变化趋势进行可视化图形展示；

步骤S232、学生动作分析，根据所述肢体动作数据，对头部、身体、四只进行实时分割与追踪，并实时识别学生的肢体动作，所述肢体动作包括趴桌子、举手及站立；

步骤S233、学生表情分析，根据所述表情数据，对人物面部数据识别和面部特征点采集，通过视频流的微表情采集和分析识别出学生的表情，并数字化处理。

4.根据权利要求3所述的课堂行为分析方法，其特征在于，步骤S233中，采用深度学习多任务卷积神经网络算法检测人脸的位置，将原始图像通过尺度变化为不同尺寸，构件图像结构，然后通过整体人脸及人脸的各种特征点进行定位。

5.根据权利要求4所述的课堂行为分析方法，其特征在于，通过Face++算法对收集到的人脸图片进行深度训练，并在LFW数据集上验证准确率。

6.根据权利要求3所述的课堂行为分析方法，其特征在于，步骤S233中，采用Adaboost-KNN动态人脸情感识别技术识别人脸表情，并创建具体模型为：

g＝SR(g₀+AT+ST)+t；

其中，S为放大系数，R为旋转矩阵，g₀为标准模型，A和S分别代表运动单元和形状单元，T为对应的变化参数，t为模型的空间转换量。

7.根据权利要求1-6任一所述的课堂行为分析方法，其特征在于，步骤S10中，采用弗兰德斯教学分析法及Rt-Ch教学模型实现对行为的识别和采集。

8.一种课堂行为分析系统，应用于多媒体课堂教学，通过人工智能技术及大数据技术实现课堂录播、无感式人脸考勤及课堂行为分析，其特征在于，包括：

图像采集装置，用于录制课堂视频的同时采集教学过程中教师与学生的生物信息，所述生物信息包括行为数据、位置数据、表情数据及肢体动作数据；

分析主机，根据所述生物信息进行多维度分析并生成课堂质量报告；

云端服务器，所述云端服务器与所述分析主机通信连接，所述分析主机将录制的课堂视频及生成的课堂质量报告发送至所述云端服务器保存。