[发明专利]基于深度学习的人员工作图像的注意力检测方法及系统

说明书

本发明基于深度学习的人员工作图像的注意力检测方法，包括下列步骤：获取工作人员的工作图像；1)利用基于深度学习的人脸检测模型，获取到头部姿态角度即人脸头部朝向欧拉角；2)利用获取到的人脸关键点中的人眼关键点，获取双眼所在矩形框，获取到眼睛睁闭状态；3)利用所述人脸所在矩形框和所述双眼所在矩形框，获取到双眼注视方向；基于以上获取到的所述头部姿态角度、所述双眼注视方向，所述眼睛睁闭状态，对工作人员的注意力进行监督记录与被触发提醒。本发明还披露了其系统。本发明具有能够实时对人员的工作状态进行监控，可靠性高的优点，特别适用于X光机安检员工作状态监控、监控室保安工作状态监控。

技术领域

本发明涉及工作人员的注意力监控的技术领域，具体涉及到一种基于深度学习的工作人员工作图像的注意力检测方法及系统的技术。

背景技术

工作人员如X光机安检员以及监控室保安，他们的工作状态直接影响到工作结果，特别是在工作时的注意力。现在由于手机的普及，常常在工作时玩手机，虽然有的办公室安装有监控摄像头，但监控摄像头获取到的图像不能传达工作人员注意力，因此对工作人员的工作状态监控也成为了一种管理工具。现有的监控摄像头，其获取到的图像并没有进行分析，往往是通过人为分析，再进行提醒，常常难以满足需要，而且让管理人员疲惫，也会造成人际关系的不协调，难以达到管理效果。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于深度学习的人员工作图像的注意力检测方法，能够实时对人员的工作状态进行监控，可靠性高。

为达上述目的，本发明采用以下技术方案：

提供一种基于深度学习的人员工作图像的注意力检测方法，人员工作图像是指工作人员的工作图像，包括下列步骤：获取工作人员的工作图像；

1)利用基于深度学习的人脸检测模型，获取人脸所在矩形框和人脸关键点，通过人脸所在矩形框进行头部姿态检测，进而获取到头部姿态角度即人脸头部朝向欧拉角；

2)利用获取到的人脸关键点中的人眼关键点，进行眼睛检测，进而获取双眼所在矩形框，通过双眼所在矩形框，进行眼睛状态识别，获取到眼睛睁闭状态；

3)利用所述人脸所在矩形框和所述双眼所在矩形框，进行眼动追踪，进而获取到双眼注视方向；

基于以上获取到的所述头部姿态角度、所述双眼注视方向，所述眼睛睁闭状态，对工作人员的注意力进行监督记录；人眼处于闭眼状态、所述头部姿态角度超过规定阈值，以及所述双眼注视方向超过规定范围，上述三种情形的任意一种或任意组合都将被触发提醒。

所述人脸检测模型主要由三大子网络组成，即人脸检测网络由P-Net、R-Net、O-Net组成。

双眼注视方向以及眼睛睁闭状态通过眼动模型获取；所述人脸检测模型与所述眼动模型中的卷积操作使用深度可分离卷积进行。

对于人眼图片的获取是基于人脸关键点中的双眼关键点计算所得，设监测出的左眼中心点坐标为(X₀,Y₀),其中X₀表示左眼在整张图片中x轴方向的坐标值,Y₀表示左眼关键点在图片中y轴方向的坐标值，相应的右眼坐标为(X₁,Y₁)，则：

表示左眼所在矩形框的左上角坐标位置为(X_L,Y_L)，

矩形框宽度为

其中，W_L，H_L分别表示左眼矩形框的宽和高的大小；

表示右眼所在矩形框的左上角坐标位置为(X_R,Y_R)，