[发明专利]一种教学情况监控方法、装置、电子设备及存储介质

权利要求书

1.一种教学情况监控方法，其特征在于，包括：

获取教室内的教学监控图像，其中，所述教学监控图像中包含有至少一个学生；

将所述教学监控图像输入至课堂行为识别模型中进行行为识别处理，得到所述教学监控图像中每个学生的第一行为识别结果和第二行为识别结果；

依据每个学生的第一行为识别结果和第二行为识别结果，确定出每个学生的课堂行为，以便基于每个学生的课堂行为，得到教学情况监控结果；

所述课堂行为识别模型包括行为特征提取网络、第一行为分类网络以及第二行为分类网络，其中，所述行为特征提取网络用于对所述教学监控图像进行特征提取，以得到每个学生的课堂行为特征，任一学生的课堂行为特征包括该任一学生的人体行为图像以及行为关键点，且该任一学生的行为关键点包括多个身体关节点；

所述行为特征提取网络，还用于将每个学生的课堂行为特征中的人体行为图像输入至所述第一行为分类网络，以便所述第一行为分类网络基于每个学生的人体行为图像，对各个学生进行第一行为分类预测，得到每个学生的第一行为识别结果；以及

用于将每个学生的课堂行为特征中的行为关键点输入至所述第二行为分类网络，以便所述第二行为分类网络基于每个学生的行为关键点，对各个学生进行第二行为分类预测，得到每个学生的第二行为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述第一行为识别结果包括多个第一行为分类概率值，所述第二行为识别结果包括多个第二行为分类概率值，其中，各个第一行为分类概率值和各个第二行为分类概率值分别对应有一人体行为；

相应的，依据每个学生的第一行为识别结果和第二行为识别结果，确定出每个学生的课堂行为，包括：

对于任一学生，提取出所述任一学生对应第一行为识别结果中的目标行为分类概率值，其中，所述目标行为分类概率值为多个第一行为分类概率值中最大的第一行为分类概率值；

若所述目标行为分类概率值大于第一概率阈值，则将目标行为分类概率值对应的人体行为，作为所述任一学生的课堂行为；

若所述目标行为分类概率值处于第二概率阈值与第一概率阈值之间，则提取出该任一学生对应第二行为识别结果中最大的第二行为分类概率值，其中，第一概率阈值大于第二概率阈值；

判断所述目标行为分类概率值对应的人体行为，与所述最大的第二行为分类概率值对应的人体行为是否相同；

若是，则将最大的第二行为分类概率值对应的人体行为，作为所述任一学生的课堂行为。

3.根据权利要求1所述的方法，其特征在于，所述行为特征提取网络包括：第一特征提取层、第二特征提取层以及第三特征提取层；

所述第一特征提取层用于对所述教学监控图像进行第一特征提取处理以及边框标定处理，以从所述教学监控图像中提取出多个初步人体图像检测区域；

所述第二特征提取层，用于对每个初步人体图像检测区域进行第一人体边框回归处理以及人体关键点定位处理，以得到多个预选人体图像区域；

所述第三特征提取层，用于对所述多个预选人体图像区域中的每个预选人体图像区域进行人体判别处理、第二人体边框回归处理以及人体关键点回归处理，以在处理完成后，得到所述教学监控图像中每个学生的课堂行为特征。