[发明专利]基于深度学习的人员工作图像的注意力检测方法及系统

权利要求书

1.基于深度学习的工作人员工作图像的注意力检测方法，其特征在于包括下列步骤：获取工作人员的工作图像；

1)利用基于深度学习的人脸检测模型，获取人脸所在矩形框和人脸关键点，通过人脸所在矩形框进行头部姿态检测，进而获取到头部姿态角度即人脸头部朝向欧拉角，所述头部姿态指的是人物头部的朝向，所述头部姿态角度通过基于深度学习的头部姿态估计模型得到，所述头部姿态角度得到的方法是通过人脸检测模型获取到人脸的矩形框后，将人脸图像截取出来，送入到头部姿态估计模型中，头部姿态估计模型输出结果直接为欧拉角度；

2)利用获取到的人脸关键点中的人眼关键点，进行眼睛检测，进而获取双眼所在矩形框，通过双眼所在矩形框，进行眼睛状态识别，获取到眼睛睁闭状态；

3)利用所述人脸所在矩形框和所述双眼所在矩形框，进行眼动追踪，进而获取到双眼注视方向；

步骤2)与步骤3)中目标人物的人脸所在矩形框和人脸关键点通过基于深度学习的人脸检测模型获取，双眼注视方向以及眼睛睁闭状态通过基于深度学习的眼动模型获取；

基于以上获取到的所述头部姿态角度、所述双眼注视方向，所述眼睛睁闭状态，对工作人员的注意力进行监督记录；人眼处于闭眼状态、所述头部姿态角度超过规定阈值，以及所述双眼注视方向超过规定范围，上述三种情形的任意一种或任意组合都将被触发提醒；

步骤1)中头部姿态检测中使用欧拉角度来表示各方向的偏转程度，通过卷积神经网络对人脸区域进行提取特征并对角度进行回归，以end-to-end的方式完成头部姿态的预测，所述头部姿态估计模型同时预测人脸在三个轴上的角度，所述卷积神经网络的输出层将角度每三个一组进行分箱，从而将回归问题转化为分类问题，头部姿态估计模型中将激活函数的输出看成角度的分布函数，计算角度的期望，头部姿态估计模型的损失函数由两个部分构成：softmax期望与真实值的均方误差、softmax分组与真实分组的交叉熵，该损失函数兼顾回归和分类问题的设计便于模型的收敛；其中softmax函数将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1；

所述人脸检测模型主要由三大子网络组成，即人脸检测网络由P-Net、R-Net、O-Net组成，P-Net是Proposal Network的缩写，R-Net是Refine Network的缩写，O-Net是OutputNetwork的缩写，其中P-Net最后层网络是卷积层，P-Net输出结果是经过筛选和位置调整的人脸图片；R-Net是对人脸框的进一步过滤和调整边框位置；O-Net与R-Net相比较，增加人脸关键点的预测及位置调整；

所述人脸检测模型与所述眼动模型中设计卷积操作，卷积操作是将传统卷积即标准卷积替换为深度可分离卷积，深度可分离卷积是指深度卷积和逐点卷积两者合起来，所述深度卷积负责滤波，作用在输入特征图的每个通道上，所述逐点卷积负责转换通道，作用在深度卷积的输出特征映射上，

对于人眼图片的获取是基于人脸关键点中的双眼关键点计算所得，设监测出的左眼中心点坐标为(X₀,Y₀),其中X₀表示左眼在整张图片中x轴方向的坐标值,Y₀表示左眼关键点在图片中y轴方向的坐标值，相应的右眼坐标为(X₁,Y₁)，则：

表示左眼所在矩形框的左上角坐标位置为(X_L,Y_L),

矩形框宽度为

其中，W_L，H_L分别表示左眼矩形框的宽和高的大小，

表示右眼所在矩形框的左上角坐标位置为(X_R,Y_R),

矩形框宽度为

其中，W_R，H_R分别表示右眼矩形框的宽和高的大小。

2.根据权利要求1所述基于深度学习的工作人员工作图像的注意力检测方法，其特征在于：所述提醒包括有报警蜂鸣、语音提示与文字提示。

3.一种基于权利要求1所述基于深度学习的工作人员工作图像的注意力检测方法的系统，其特征在于所述系统包括：

基于深度学习的人脸检测模型，用于获取目标人物的人脸所在矩形框和人脸关键点；

基于深度学习的眼动模型，用于获取双眼注视方向以及眼睛睁闭状态；

基于深度学习的头部姿态估计模型，用于得到头部姿态角度即人脸头部朝向欧拉角；

综合处理单元，对以上模型获取到的所述头部姿态角度，双眼注视方向，眼睛睁闭状态，进行综合处理后，对所述目标人物的注意力进行监督记录。