[发明专利]一种基于深度学习面部识别的轻量级走神判别方法

权利要求书

1.一种基于深度学习面部识别的轻量级走神判别方法，其特征在于：包括以下步骤：

S1)：对视频流的关键帧，采用基于ResNet10-SSD的人脸检测算法，选择ResNet10作为骨架，提取输入图片的深度特征，再送入一系列连续堆叠的卷积模块；根据网络不同阶段提取到的不同尺度的特征，分别送入SSD检测头，同时预测图片中人脸框的定位信息和置信度；

S2)：对步骤S1中获得的人脸框使用NMS进行去重，并设置一个置信度阈值，将置信度大于阈值、离画面中心最近的人脸框，作为当前帧的人脸目标；

S3)：对步骤S2中获得的人脸区域进行裁剪，采用基于MobileNet+GRU的走神识别算法，借鉴YOLO结构搭建网络骨架，进行人脸深度特征的提取；

S4)：对步骤S3中获得的脸深度特征图，添加一个借用人脸关键点信息进行额外监督的注意力模块，并保留恒等映射，通过全局池化后得到当前帧的人脸特征向量；

S5)：对步骤S4中获得的当前帧人脸特征向量，通过一个辅助分支，用头部姿态估计作为辅助信息进行额外监督；

S6)：对步骤S4中获得的当前帧人脸特征向量，通过GRU融合时序信息，在主分支进行走神识别分类，得到走神状态识别得分；

S7)：用步骤S5中头部姿态估计分支的输出结果生成初始角，结合后续帧的头部姿态角对网络输出结果进行矫正；再加上对步骤S6中预测得分的平滑操作，即可得到走神识别算法的最终结果。

2.根据权利要求1所述的一种基于深度学习面部识别的轻量级走神判别方法，其特征在于，在网络骨架部分，除了第一层用普通卷积模块提取原始输入图像的像素特征外，均采用深度可分离卷积替代传统卷积，降低网络参数量和计算量，网络骨架采用连续堆叠的BottleneckCSP模块和步长为2的深度可分离卷积模块提取图片深度特征，后者还起到下采样的作用。

3.根据权利要求1所述的一种基于深度学习面部识别的轻量级走神判别方法，其特征在于，在网络骨架尾部添加一个注意力模块并保留恒等映射，并使用眼、口等51个面部关键点，使用高斯核生成热力图，对空间注意力进行额外监督，若关键点生成的类高斯分布之间存在重叠区域，则按元素取最大值作为热力图的对应值。

4.根据权利要求1所述的一种基于深度学习面部识别的轻量级走神判别方法，其特征在于，在注意力模块之后添加一个头部姿态估计辅助分支，直接拟合头部姿态。

5.如权利要求1所述的基于MobileNet+GRU的走神识别算法，其特征在于，在注意力模块之后，通过一个GRU模块融合时序信息，添加面部走神识别主分支，通过softmax激活函数即可得到走神状态的得分。

6.如权利要求1所述的基于MobileNet+GRU的走神识别算法，其特征在于，需要对注意力模块、头部姿态估计辅助分支、走神识别主分支这三个任务同时进行监督；

对注意力模块，损失函数取二元交叉熵：

其中y_i,p_i分别为对应位置的热力图真值与注意力图预测值；

对头部姿态估计辅助分支，损失函数取均方误差函数，同时为了加快收敛，可对网络输出值进行缩放：

其中y_i,p_i分别为头部姿态角真值与预测值，ε为缩放系数；

对面部走神识别主分支，损失函数取交叉熵：

其中y_ij,p_ij分别为第i个样本的第j个走神状态的真值与预测值；

对三个子任务损失进行加权，即可得到网络总损失：

L＝λ_attL_att+λ_poseL_pose+λ_clsL_cls

其中λ_att,λ_pose,λ_cls为权重系数。