[发明专利]一种基于深度学习的学生打卡及上课状态的检测系统

权利要求书

1.一种基于深度学习的学生打卡及上课状态的检测系统，其特征在于，所述检测系统包括数据采集子系统、检测子系统和存储及可视化子系统，

数据采集子系统由定时相机、网络摄像头和本地摄像头中一种或二种以上组合而成，数据采集子系统用于采集学生上课时的照片或视频，并将照片或视频处理后传输给检测子系统；

检测子系统包括服务器或嵌入式设备，以及布署在服务器端或布署在嵌入式设备上检测识别模块，所述检测识别模块包括人脸检测子模块、人脸区域截取子模块、表情识别子模块、人脸识别子模块和疲劳检测子模块；人脸检测子模块、表情识别子模块以及人脸识别子模块均采用训练后的神经网络实现；疲劳检测子模块基于传统机器学习方法来实现；当检测识别模块布署在嵌入式设备上时，人脸检测子模块、人脸区域截取子模块、人脸识别子模块和疲劳检测子模块布署在一台嵌入式设备上，而表情识别子模块需要接收人脸检测子模块的输出并布署在另一台嵌入式设备上；将处理后的每一帧图片传输给人脸检测子模块进行人脸检测，输出该帧图片上每张人脸检测向量组成的矩阵，并将其传给人脸区域截取子模块；

人脸区域截取子模块的输入是原图片矩阵和人脸检测子模块输出的矩阵，这个模块的输出是按照人脸检测子模块输出的矩阵在原图片矩阵截取出来的一系列图片矩阵组成的新矩阵，这个新矩阵中的每个图片矩阵都包含一张人脸，并会被输出给表情识别子模块、人脸识别子模块和疲劳检测子模块；

表情识别子模块针对每个人脸输出一个行向量，人脸识别子模块针对每个人脸输出一个行向量，疲劳检测子模块针对每个人脸输出一个布尔值，所述两个行向量与对应的布尔值构成用于表征一个人脸的表情识别、人脸识别和疲劳检测结果的新行向量；

经过检测识别模块后每一帧图片输出由不同人脸产生的上述新行向量组成的、行数等于该帧图片中人脸数的矩阵；

存储及可视化子系统包括存储模块和上位机可视化模块；存储模块用于将检测子系统输出的每帧图片中人脸数的矩阵进行存储，上位机可视化模块对检测子系统输出的每帧图片中人脸数的矩阵进行处理后，为每个学生进行打卡，并输出每个学生的上课状态。

2.根据权利要求1所述的一种基于深度学习的学生打卡及上课状态的检测系统，其特征在于，所述人脸检测子模块基于MTCNN人脸检测网实现，MTCNN人脸检测网具体为：MTCNN使用金字塔式图片尺寸重整，最小人脸大小设置为20，单位为像素。

3.根据权利要求1或2所述的一种基于深度学习的学生打卡及上课状态的检测系统，其特征在于，所述人脸区域截取子模块的实现具体为：按照人脸检测子模块输出的矩阵在原图片矩阵截取出来的一系列图片矩阵组成的新矩阵，该新矩阵中的每个图片矩阵都包含一张人脸。

4.根据权利要求3所述的一种基于深度学习的学生打卡及上课状态的检测系统，其特征在于，所述人脸识别子模块采用人脸识别网络FaceNet进行分类器重训练来实现，具体为：输入的图片矩阵会通过GoogLeNet进行特征提取，之后进行归一化，并采用损失函数对比确认相似度，在这一过程中，除了需要验证的图片矩阵的损失函数是实时计算的，所有对比用的参照图片的损失函数都是提前计算好的，那么训练分类器的过程就是将学生的多角度图片调整成160*160像素尺寸的矩阵提前输入网络进行计算，得到所述损失函数，用于后续对比。

5.根据权利要求1、2或4所述的一种基于深度学习的学生打卡及上课状态的检测系统，其特征在于，所述表情识别子模块是基于简化的Xception网络结构进行修改得到的，具体为：该网络使用人脸区域截取子模块的输出作为输入。

6.根据权利要求5所述的一种基于深度学习的学生打卡及上课状态的检测系统，其特征在于，所述疲劳检测子模块中的传统机器学习方法，具体为：使用HOG特征提取得到特征图，使用dlib库将每只眼睛的左眼角p₁进行标记，之后按照顺时针分别标记上眼眶两点p₂和p₃、右眼角p₄、下眼眶p₅和p₆，应用公式:

当结果小于等于0.25时，证明人眼处于闭合状态，就会发布告警信息，输出对应布尔值。