[发明专利]一种基于深度学习面部识别的轻量级走神判别方法

说明书

发明公开了一种基于深度学习面部识别的轻量级走神判别方法，该方法处理视频流数据，包括以下步骤：首先对关键帧进行人脸检测，再将检测出来的人脸区进行走神识别，最终得到此帧的走神状态识别结果；该方法主要包括两个模块：基于ResNet10‑SSD的人脸检测算法、基于MobileNet+GRU的走神识别算法；人脸检测模块沿用SSD，走神识别模块采用MobileNet的深度可分离卷积搭建特征提取器，添加保留恒等映射的CBAM结构，本发明采用人脸关键点定位和头部姿态估计作为辅助数据进行额外监督；由于采用ResNet10等轻量级骨干网络，以及使用MobileNet加速，该轻量级面部走神识别方法兼顾了精度和速度，能够在各类移动设备上部署并且识别走神准确率达到90％，在实际应用场景中具有较高的实用价值。

技术领域

本发明涉及深度学习图像识别分析领域，具体涉及一种基于深度学习面部识别的轻量级走神判别方法。

背景技术

信息技术的发展给人们的生活带来极大的便利，特别是对在线教育行业而言，视频直播的形式让学生得以在家完成课堂学习，这在疫情下的社会显得更为重要。为了提高学生的听课质量、让老师得到及时反馈，需要在直播过程中对学生听课是否走神进行智能识别，并将结果汇总，以供老师参考处理。对于捕获的学生听课设备摄像头的视频流，需要在关键帧检测到学生的人脸定位，再根据学生人脸区域进行走神识别，最后得到识别结果。

得益于硬件性能的提升，基于深度学习的人脸检测技术飞速发展，其速度和精度均远远超过基于传统方法的人脸检测模型，在工业界也得到了广泛应用。从DenseBox开始，人们从通用目标检测模型向人脸检测迁移，使用全卷积网络直接预测人脸目标矩形框和置信度，取得了不错的效果。之后Face RCNN和RetinaFace等网络的性能不断提升，但网络规模也逐渐增大，在大多数硬件性能受限的场合不适用于实时性应用。目前人脸检测技术的效果已经能基本满足业务需求，为了方便应用和迁移，同时兼顾网络复杂度和运行速度，采用OpenCV提供的基于ResNet10-SSD网络的人脸识别预训练模型，作为人脸检测模块。

人脸检测技术的成熟使得人脸识别技术高速发展，目前人脸识别精度已经超过人眼，已经广泛应用到实际产品中。人脸表情识别作为人脸识别技术中的一个组成部分，今年来也得到了广泛的研究和应用。DeepEmotion在FER2013和CK+等经典面部表情识别数据集中都取得了不错的性能，各种基于VGG、ResNet的网络变体也不断刷新各大数据集的性能指标。然而现有的数据集和模型都局限于处理反映愤怒、高性、悲伤、惊讶等基本情感的表情识别任务，印度学者提出的DAiSEE走神识别数据集由于人种差异和视频质量问题，也不适用于国内的业务场景，同时也并没有模型在DAiSEE数据集上表现出良好的性能。因此，在面部走神识别领域，不管是数据集还是网络模型都十分稀缺，带来了一定的困难和挑战。

发明内容

本发明要解决的技术问题是克服现有的缺陷，提供一种基于深度学习面部识别的轻量级走神判别方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明提出：一种基于深度学习面部识别的轻量级走神判别方法，该方法主要包括两个模块：基于ResNet10-SSD的人脸检测算法、基于MobileNet+GRU的走神识别算法；该轻量级面部走神识别方法兼顾了精度和速度，在实际应用场景中具有较高的实用价值。

作为本发明的一种优选技术方案：

一种基于深度学习面部识别的轻量级走神判别方法，包括以下步骤：

S1：采用基于ResNet10-SSD的人脸检测算法对视频流中的关键帧进行人脸检测。人脸检测模块选择ResNet10作为骨架，提取输入图片的深度特征，再送入一系列连续堆叠的卷积模块；根据网络不同阶段提取到的不同尺度的特征，分别送入SSD[10]检测头，同时预测图片中人脸框的定位信息和置信度；