[发明专利]基于课堂监控视频的教学情况智能监测方法、装置及设备

权利要求书

1.一种基于课堂监控视频的教学情况智能监测方法，其特征在于，含有以下步骤：

获取m,m≥1间教室内不同时刻的监控视频数据，建立图像集X1，并对图像集X1进行归一化处理，得到图像集X2；

对图像集X2中的每一张图像进行每个学生的人体区域标注，并根据标注的人体区域数据建立训练数据集VOC1；

采用YOLOv3网络对训练数据集VOC1进行训练，得到人体区域检测模型F1；

获取另外m间教室内不同时刻的监控视频数据，建立图像集X3，采用人体区域检测模型F1检测出图像集X3中每张图像中的人体区域，并对人体区域的学生行为进行标注，建立学生行为数据集VOC2；

采用YOLOv3网络对学生行为数据集VOC2进行训练，得到人体行为识别模型F2；

实时获取教室内的监控视频数据，将监控视频数据输入至人体区域检测模型F1检测出学生的人体区域，并将检测出的人体区域输入至人体行为识别模型F2进行学生行为识别，将识别结果标注在图像上；

每隔预设时间T统计教室内上课人数总数和各种学生行为的人数。

2.如权利要求1所述的基于课堂监控视频的教学情况智能监测方法，还包括以下步骤：根据各种学生行为的人数对课堂的授课情况进行评估。

3.如权利要求1或2所述的基于课堂监控视频的教学情况智能监测方法，其特征在于，图像集X1的建立方法为：对采集的m间教室不同时刻的教室监控视频数据，在每间教室的监控视频中截取k时刻的图像，并每隔半小时提取一帧图像，选取有学生上课场景的图像，形成图像集X1；

获得图像集X2的方法为：对图像集X1进行归一化处理，每一张图像的大小为416*416，形成图像集X2；

图像集X3的建立方法为：对采集的m间教室不同时刻的教室监控视频数据，在每间教室的监控视频中截取k时刻的图像，并每隔15分钟提取一帧图像，选取有学生上课场景的图像，形成图像集X3。

4.如权利要求3所述的基于课堂监控视频的教学情况智能监测方法，其特征在于，标注人体区域并建立训练数据集VOC1的具体步骤为：采用标注工具VOCmaker依次打开图像集X2中的图像，在某一图像中标注出某一个学生的人体区域，人工标注该人体区域左上角的点和右下角的点，标注后在标注工具VOCmaker中输入标签“Person”，将该人体区域信息保存到对应的xml标签文件，按照上述方法标注出每张图像中的每个学生的人体区域，直至图像集X2所有图像中所有学生的人工区域信息保存至对应的xml标签文件，根据xml标签文件存储的教室内学生人体区域样本数据，建立训练数据集VOC1，所述人体区域信息包括人体区域左上角的点以及人体区域的宽度和高度。