[发明专利]一种基于神经网络的课堂到课率识别方法和系统

说明书

本发明提供一种基于神经网络的课堂到课率识别方法，所述方法包括：收集课堂内学生不同时段的图片数据生成数据集，然后建立经过预训练的人脸检测模型和待训练的人体检测模型，并对人体检测模型进行训练，获得训练好的人体检测模型；获取课堂实时的学生图片数据，将实时的图片数据分别输入人脸检测模型和训练好的人体检测模型，分别获得学生人脸框集合F和学生人体框集合B；将学生人脸框集合F和学生人体框集合B输入人体人脸融合模型，获取课堂学生框目标集合P后计算课堂到课率。与现有技术相比，本发明通过使用人脸检测和人体检测结合的方式，对在复杂课堂场景对学生的到课情况进行检测分析，能够准确有效的计算课堂到课率。

技术领域

本发明涉及图像识别领域，更具体地，涉及一种基于神经网络的课堂到课率识别方法和系统。

背景技术

课堂秩序是高校课堂教学质量评价的重要内容，侧面反映了课堂质量的好坏，而课堂到课率是衡量课堂秩序的重要指标。传统到课率统计方式采用人工点名，这种方式效率低，耗时、耗力；随着人工智能技术的迅速普及，视频、图片处理技术突飞猛进。近几年业界开始尝试将人工智能技术在应用到教育教学场景，然而通用检测算法，例如FasterRCNN、SSD，在ImageNet、MS COCO等标准数据集上实现了良好的检测性能，但是在教学场景中其准确性却有待提高，主要是因为课堂教学场景具有以下特点：

(1)目标密集分布。在课堂教学场景中，学生、桌椅等目标的密集分布，目标之间间距过小甚至重叠，给目标定位带来困难。

(2)目标部分遮挡。由于目标密集分布，导致其到二维投影的图像上往往存在空间位置的相互重叠，某些目标的特征无法完整提取。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷，提供一种基于神经网络的课堂到课率识别方法和系统，用于提高人工智能课堂到课率识别的准确性。

本发明采取的技术方案为：

本发明提供一种基于神经网络的课堂到课率识别方法，所述方法包括：

S1：收集课堂内学生不同时段的图片数据生成数据集，并对数据集进行标注，然后将数据集分为训练集、验证集和训练验证集；

S2：分别建立经过预训练的人脸检测模型和待训练的人体检测模型，并分别使用训练集、验证集和训练验证集对人体检测模型进行训练、验证和测试，获得训练好的人体检测模型；

S3：获取课堂实时的学生图片数据，将实时的图片数据分别输入人脸检测模型和训练好的人体检测模型，分别获得学生人脸框集合F和学生人体框集合B；

S4：建立人体人脸融合模型，并将学生人脸框集合F和学生人体框集合B输入人体人脸融合模型，获取课堂学生框目标集合P，然后根据课堂学生框目标集合P计算课堂到课率。

本发明采用人工智能图像识别的方式来对课堂的学生的到课情况，相较传统的人工点名方式要更快捷且精确；而采用普通的人工智能人脸检测的方式，由于需要监测整个课堂的情况，所以采集的图像中的人脸较小，同时，由于在课堂期间学生的头部姿态各异，很难观察到完整的头部信息，导致采用单一的人工智能人脸检测的准确率较低。本发明采用了人脸和人体多目标检测的方式，当出现由于人脸较小人脸检测效果较差的情况时，可以通过人体检测来实现对学生的到课情况的检测；当存在遮挡导致人体检测不准确时，可以通过人脸检测来提高对学生情况的检测效果，通过多目标检测，有效的提高了采用单一人工智能图像识别检测到课率的准确率。

进一步的，所述利用目标检测数据标记工具LabelImg对数据集进行分类标注包括：

将数据集使用LabelImg进行标记，并保存生成的标签文件；

将标记后的数据集划分为训练集、验证集和训练验证集，并分别使用文本保存训练集、验证集和训练验证集的信息。