[发明专利]基于课堂监控视频的教学情况智能监测方法、装置及设备

说明书

本发明涉及一种基于课堂监控视频的教学情况智能监测方法、装置及设备，所述方法基于教室监控视频数据，构建训练数据集和学生行为数据集，并采用YOLOv3网络对数据集进行训练得到人体区域检测模型和人体行为识别模型，通过人体区域检测模型和人体行为识别模型对学生课堂行为进行识别，对识别结果进行标注，并统计各种学生行为人数及课堂上课人数总数。本发明能够获得可靠的人体特征和行为特征，可靠地检测到课堂中的学生人数，且能够可靠识别学生课堂行为，打破了教室监控视频处于机械的记录数据的状态，能够基于学生行为的识别结果进一步进行教学情况的判断，服务于教学管理，并为学校智能服务提供了大量的参考数据集。

技术领域

本发明属于教学管理技术领域，具体地说，涉及了基于课堂监控视频的教学情况智能监测方法、装置及设备。

背景技术

教室作为教师教学和学生学习的重要场地，对学生的学习效果影响明显。随着教育信息化的快速发展，教室内一般都安装有摄像头监控系统，摄像头采集教室内的画面并进行存储，但现有的监控视频系统处于一种机械地记录数据的状态，并不能对课堂的授课情况以及学生的学习情况进行分析，无法对教师的授课情况和学生的学习情况进行管理和评价。

公开号为CN 109461104 A的中国专利申请公开了一种课堂监控方法、装置及电子设备，其中监控方法包括：获取教室内的图像信息；对图像信息进行特征提取，并基于预先存储的特征库，确定学生的课堂接受程度；其中，特征库包括行为特征库和人脸特征库。该专利申请中，通过行为特征对比学生的课堂情绪进行分析，通过行为特征对比学生的课堂行为进行分析，从而从情绪和行为两个方面对学生的课堂接受程度进行分析。

上述专利申请从情绪和行为两个方面是对学生课堂接受程度进行分析，但并不能识别学生的上课状态，即统计正常听课人数、睡觉人数或玩手机的学生人数等信息，且无法评测课堂的授课情况。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于课堂监控视频的教学情况智能监测方法、装置及设备，能够识别学生上课行为状态，并基于学生行为的识别结果进一步进行教学情况判断。

为了达到上述目的，本发明提供了一种基于课堂监控视频的教学情况智能监测方法，含有以下步骤：

获取m,m≥1间教室内不同时刻的监控视频数据，建立图像集X1，并对图像集X1进行归一化处理，得到图像集X2；

对图像集X2中的每一张图像进行每个学生的人体区域标注，并根据标注的人体区域数据建立训练数据集VOC1；

采用YOLOv3网络对训练数据集VOC1进行训练，得到人体区域检测模型F1；

获取另外m间教室内不同时刻的监控视频数据，建立图像集X3，采用人体区域检测模型F1检测出图像集X3中每张图像中的人体区域，并对人体区域的学生行为进行标注，建立学生行为数据集VOC2；

采用YOLOv3网络对学生行为数据集VOC2进行训练，得到人体行为识别模型F2；

实时获取教室内的监控视频数据，将监控视频数据输入至人体区域检测模型F1检测出学生的人体区域，并将检测出的人体区域输入至人体行为识别模型F2进行学生行为识别，将识别结果标注在图像上；

每隔预设时间T统计教室内上课人数总数和各种学生行为的人数。

进一步的，还包括以下步骤：根据各种学生行为的人数对课堂的授课情况进行评估

优选的，图像集X1的建立方法为：对采集的m间教室不同时刻的教室监控视频数据，在每间教室的监控视频中截取k时刻的图像，并每隔半小时提取一帧图像，选取有学生上课场景的图像，形成图像集X1；

获得图像集X2的方法为：对图像集X1进行归一化处理，每一张图像的大小为416*416，形成图像集X2。