[发明专利]基于深度学习网络的课堂听课者抬头率检测方法

说明书

一种基于深度学习网络的课堂听课者抬头率检测方法，其步骤为：1、生成训练集、验证集和测试集；2、构建深度学习网络；3、训练深度学习网络；4、检测人脸的得分值及位置信息；5、设置检测状态；6、获得课堂抬头率。本发明通过搭建两个分支的深度学习网络，保证了深度学习网络对多尺度的人脸的检测，利用随机梯度下降方法对深度学习网络在大数据集上进行训练，保证了深度学习网络对人脸检测的鲁棒性，并且使得训练能够在较短时间内完成，然后利用设置检测状态的方法，有效地区分了抬头和低头两种状态，同时，本发明对课堂听课者抬头率的检测具有很好的实时性，能够对实时视频流进行检测。

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别技术领域中的一种基于深度学习网络的课堂听课者抬头率检测方法。本发明可对课堂中听课者的抬头率进行实时检测。

技术背景

课堂听课者的抬头率是重要的上课质量评估标准，能够很好地反应听课者的专注度以及教师的上课效果。但是在实际中，人工计算抬头率费时费力，而且很难做到实时检测。为解决上述问题，人们通常设计人脸检测方法，利用计算机对抬头率进行检测。

重庆大争科技有限公司在其申请的专利文献“课堂教学质量评估方法”(申请号：CN201711434131.0，公开号：CN107895244A)中公开了一种课堂教学质量评估方法。该方法的步骤为，首先从数据库中获取教室监控视频，每隔十分钟对视频进行采样，并进行低头状态的检测，通过两次采样之间的状态转换，对低头状态进行判定，并统计处于低头状态的学生数量，通过其与教室内学生总数的比值得到学生的低头率。该方法的不足之处是：由于该方法将检测的间隔设置为十分钟，而无法对视频进行实时处理，丢失了大量的视频信息，使得检测率的不确定性增加。

南京信息工程大学在其申请的专利文献“一种基于课堂学生行为分析的教学质量评估方法及系统”(申请号：CN201710417964.X，公开号：CN107316257A)中提供了一种基于课堂学生行为分析的教学质量评估方法。该方法的步骤为，首先从数据库中获取教室监控视频，然后根据连续的视频图像识别头顶与人脸面部特征的比例，得到当前处于低头状态的学生数量，通过其与授课教室内应到学生总数的比值获得学生低头率。该方法的不足之处是：由于该方法在检测时利用到的头顶特征比较单一，容易与周围环境形成混合，对抬头和低头状态的检测有较大影响。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习网络的课堂听课者抬头率检测方法，通过构建深度学习网络，设置检测状态，实时地检测课堂听课者的抬头率。

本发明实现的具体步骤如下：

(1)生成训练集、验证集和测试集：

采集每张图片均拥有所有人脸的位置信息的至少3万张图片，将所采集的图片组成深度学习数据集，从深度学习数据集中随机提取40％的图片组成训练集，随机提取10％的图片组成验证集，剩余的50％图片组成测试集；

(2)构建深度学习网络：

(2a)搭建一个由主网络和子网络级联组成的深度学习网络，其中，所述基础网络结构依次为：第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层；

所述子网络由分支1和分支2并联，分支1的结构依次为：第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层；分支2的结构依次为：降维层→第一卷积层→第二卷积层→输出层；

输出层包含两个输出结果，分别为人脸的得分值和人脸的位置信息。

(2b)设置深度学习网络参数；

(3)训练深度学习网络：

(3a)将深度学习网络的网络参数和网络结构加载到电脑内存中；