[发明专利]一种疲劳驾驶检测方法及其系统、电子设备

权利要求书

1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：

获取当前时间周期内多帧人脸图像，所述多帧人脸图像为当前时间周期内驾驶员的人脸图像；

对所述多帧人脸图像中的人脸关键点进行标注；

利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据；其中，所述眼睛数据包括左、右眼睛检测框及其长度和宽度，所述嘴巴数据包括嘴巴检测框及其长度和宽度；

根据所述每帧人脸图像的眼睛数据以及嘴巴数据计算每帧人脸图像的眼睛开合度以及嘴巴开合度；

根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态；其中，所述驾驶员状态包括驾驶疲劳和非驾驶疲劳。

2.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述对所述多帧人脸图像中的人脸关键点进行标注包括：

获取每帧人脸图像中的人脸关键点在人脸图像中的坐标信息；

根据所述坐标信息在每帧人脸图像中标注出人脸关键点；

其中，人脸关键点包括左眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，右眼睛的左眼角点、右眼角点、上眼睑点和下眼睑点，左嘴角点、右嘴角点、上嘴唇点和下嘴唇点。

3.如权利要求2所述的疲劳驾驶检测方法，其特征在于，所述利用目标检测网络对标注后的多帧人脸图像进行检测得到每帧人脸图像的眼睛数据以及嘴巴数据包括：

根据每帧人脸图像中人脸关键点生成左、右眼睛检测框以及嘴巴检测框，并根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度。

4.如权利要求3所述的疲劳驾驶检测方法，其特征在于，所述根据人脸关键点在人脸图像中的坐标信息确定各检测框的长度和宽度具体根据如下公式进行计算确定包括：

L1＝X_A2-X_A1

W1＝X_A4-X_A3

其中，L1为左眼睛检测框的长度，W1为左眼睛检测框的宽度，X_A1为左眼睛左眼角点的横坐标，X_A2为左眼睛右眼角点的横坐标，X_A3为左眼睛上眼睑点的纵坐标，X_A4为左眼睛下眼睑点的纵坐标；

L2＝X_B2-X_B1

W2＝X_B4-X_B3

其中，L2为右眼睛检测框的长度，W2为右眼睛检测框的宽度，X_B1为右眼睛左眼角点的横坐标，X_B2为右眼睛右眼角点的横坐标，X_B3为右眼睛上眼睑点的纵坐标，X_B4为右眼睛下眼睑点的纵坐标；

L3＝X_C2-X_C1

W3＝X_C4-X_C3

其中，L3为嘴巴检测框的长度，W3为嘴巴检测框的宽度，X_C1为左嘴角点的横坐标，X_C2为右嘴角点的横坐标，X_C3为上嘴唇点的纵坐标，X_C4为下嘴唇点的纵坐标。

5.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据所述每帧人脸图像的眼睛开合度以及嘴巴开合度确定驾驶员状态包括：

根据所述每帧人脸图像的左眼睛开合度和右眼睛开合度计算每帧人脸图像的眼睛开合度，其中，人脸图像的眼睛开合度等于左眼睛开合度和右眼睛开合度的均值；

根据所述每帧人脸图像的眼睛开合度计算当前时间周期的平均眼睛开合度；

根据所述每帧人脸图像的眼睛开合度以及所述平均眼睛开合度确定驾驶员闭眼的人脸图像帧数；其中，若一帧人脸图像的眼睛开合度小于平均眼睛开合度乘以预设比例系数，则该帧人脸图像中驾驶员闭眼；

统计驾驶员闭眼的人脸图像帧数，并根据所述驾驶员闭眼的人脸图像帧数以及当前时间周期内人脸图像总帧数计算闭眼比例；其中，闭眼比例等于驾驶员闭眼的人脸图像帧数与当前时间周期内人脸图像总帧数的比值；

根据所述闭眼比例和预设第一阈值的比较结果确定驾驶员状态。