[发明专利]基于深度学习人脸姿态估计的疲劳检测方法

摘要

本发明公开了基于深度学习人脸姿态估计的疲劳检测方法，包括以下步骤：S1、获取驾驶室摄像头视频流，S2、人脸关键点定位，S3、定义一个6个关键点的3D脸部模型；S4、根据S3中人脸部关键点定位出眼睛和嘴部位置，S5、根据驾驶员点头累计次数确定超过设定阀值报警以及确定张嘴闭眼的状态超过设定阀值报警。本发明能够实时检测，且具有抗干扰性强，识别检测全面，准确率高稳定性强等特点，能够从根本上提醒驾驶人员驾驶；通过纵横比与设定的眼睛睁闭和嘴巴张开闭合的阈值之间的比较，并且结合眼睛闭合或者嘴巴张开的持续时长与所设定的时间阈值之间的比较，综合判定驾驶员是否处在疲劳状态，如果处于疲劳状态则触发警报报警。

主权项

1.基于深度学习人脸姿态估计的疲劳检测方法，其特征在于：包括以下步骤：S1、获取驾驶室摄像头视频流：首先通过驾驶室内的车载摄像头采集驾驶员驾驶状态视频，采用基于HOG提取算法检测出人脸区域，并用矩形框框出；S2、人脸关键点定位：利用基于ERT集成回归树的landmark人脸部特征点提取技术确定人脸关键点，其中人脸关键点包括眼睛、嘴巴、下颌和鼻子的位置；S3、定义一个6个关键点的3D脸部模型，且3D脸部模型包括左右眼角、左右嘴角、鼻尖和下颌，将获得的驾驶员脸部对应的6个关键点，使用OpenCv中的solvePnP函数来估算Pose，确定从3D model到驾驶员脸部图像的仿射变换矩阵，其中包含了旋转和平移信息也就是歪头和点头的移动信息，用rotation vector将旋转向量转换成欧拉角；S4、根据S3中人脸部关键点定位出眼睛和嘴部位置，根据坐标计算眼睛和嘴部水平方向和垂直方向欧式距离；式中，d1为眼睛水平方向的欧式距离，d2和d3是垂直方向的欧式距离；A为眼睛纵横比；嘴部纵横比计算方式同眼睛计算方式相同；步骤5：根据驾驶员点头累计次数确定超过设定阀值报警，其中驾驶员点头次数低于设定阀值，则通过嘴部纵横比以及眼睛纵横比分别与设定阈值做比较，确定张嘴闭眼的状态超过设定阀值报警。