[发明专利]驾驶员疲劳状态识别方法、系统、电子设备和存储介质

权利要求书

1.一种驾驶员疲劳状态识别方法，其特征在于，包括：

响应于车辆的启动信号，持续获得驾驶员的红外图像；

对所述红外图像进行人脸检测，获得所述驾驶员的脸部图像；

对所述脸部图像进行人脸关键点检测，获得所述脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及所述驾驶员的头部姿态；

根据所述脸部关键点位置向量，获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对所述关键区域图像进行张闭状态识别，获得所述驾驶员的眼部状态和嘴部状态；以及

基于所述头部姿态、所述眼部状态和所述嘴部状态，当满足预定条件时判断所述驾驶员处于疲劳状态并发出提示信息，所述预定条件包括：

所述头部姿态在第一预设时间段内持续低下；和/或

所述眼部状态在第二预设时间段内持续闭合；和/或

所述嘴部状态在第三预设时间段内持续张开。

2.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述根据所述脸部关键点位置向量的步骤之前，还包括：

基于水平方向对所述脸部图像进行矫正；以及

基于矫正后的所述脸部图像对所述脸部关键点位置向量进行矫正。

3.如权利要求2所述的驾驶员疲劳状态识别方法，其特征在于，所述基于水平方向对所述脸部图像进行矫正的步骤包括：

根据所述脸部关键点位置向量中左眼位置向量和右眼位置向量，获得左眼与右眼的连线与所述水平方向的夹角，作为矫正角度；以及

以所述脸部图像的人脸框的中心点为旋转中心，将所述脸部图像旋转所述矫正角度。

4.如权利要求2所述的驾驶员疲劳状态识别方法，其特征在于，所述基于水平方向对所述脸部图像进行矫正的步骤之后，还包括：

对所述脸部图像进行直方图均衡化预处理和光照均衡化预处理。

5.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述对所述红外图像进行人脸检测的步骤中，基于DepthWise卷积神经网络构建的人脸检测模型对所述红外图像进行人脸检测；以及

所述人脸检测模型输出以人脸框为边界的所述脸部图像。

6.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述对所述脸部图像进行人脸关键点检测的步骤中，基于DepthWise卷积神经网络构建的关键点检测模型对所述脸部图像进行人脸关键点检测；以及

所述关键点检测模型输出基于所述人脸框位置的左眼位置向量、右眼位置向量、鼻尖位置向量、左嘴角位置向量和右嘴角位置向量，以及指示头部抬起或低下的所述头部姿态。

7.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像的步骤包括：

裁剪出所述脸部图像中的左眼区域、右眼区域和嘴部区域；以及

将裁剪出的所述左眼区域、所述右眼区域和所述嘴部区域的分辨率缩放至一预设分辨率，形成所述关键区域图像。

8.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述对所述关键区域图像进行张闭状态识别的步骤中，基于DepthWise卷积神经网络构建的眼部嘴部张闭识别模型对所述关键区域图像进行张闭状态识别；以及

所述眼部嘴部张闭识别模型输出指示眼部张开或闭合的眼部状态，以及指示嘴部张开或闭合的嘴部状态。

9.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述持续获得驾驶员的红外图像的步骤包括：

通过所述车辆的红外摄像头持续摄取所述驾驶员的红外图像；以及

实时传输摄取的所述红外图像。