[发明专利]驾驶员疲劳检测方法、系统、设备及存储介质

权利要求书

1.一种驾驶员疲劳检测方法，其特征在于，所述方法包括：

获取驾驶员的脸部图像；

根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；

基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；

根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。

2.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述获取驾驶员的脸部图像，包括：

获取设置于驾驶室内的摄像头实时采集的驾驶员的图像信息；

利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像。

3.根据权利要求2所述的驾驶员疲劳检测方法，其特征在于，所述基于深度学习的人脸识别算法为卷积神经网络算法，所述利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像包括：

利用卷积神经网络算法对采集的图像信息中的特征进行提取，并对卷积神经网络中不同的卷积层特征进行级连接操作，得到提取的特征图；

采用改进核函数的支持向量机分类算法对提取的特征图进行分类；

根据分类结果，从采集的图像信息中确定出驾驶员的脸部图像；

其中，所述改进核函数K(m,n)的表达式如下：

(m,n)表示经过卷积神经网络提取的特征点坐标，exp表示指数函数，δ表示标准方差；

所述采用改进核函数的支持向量机分类算法对提取的特征图进行分类，还包括采用以下函数约束优化问题计算极值，以对提取的特征图进行分类：

其中L(a,b,c)为拉格朗日函数，(x_i,y_i)为分类超平面上的点坐标，a为分类超平面的法向量，b为位移项，c为拉格朗日乘子，T为转置符号。

4.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述眼睛识别模型为预先通过对预设第一数量的眼睛区域及非眼睛区域样本图像进行标注并训练得到的卷积神经网络模型；所述嘴巴识别模型为预先通过对预设第二数量的嘴巴区域及非嘴巴区域样本图像进行标注并训练得到的卷积神经网络模型；所述根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像，包括：

对所述脸部图像进行裁剪，将所述脸部图像归一化为预设第一尺寸大小；

利用预先训练的眼睛识别模型提取出裁剪后脸部图像中的眼睛图像特征，并采用激励函数进行分类识别得到脸部图像中的眼睛区域图像；

利用预先训练的嘴巴识别模型提取出裁剪后脸部图像中的嘴巴图像特征，并采用激励函数进行分类识别得到脸部图像中的嘴巴区域图像。

5.根据权利要求1或4所述的驾驶员疲劳检测方法，其特征在于，所述基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息，包括：

对所述眼睛区域图像进行裁剪，将所述眼睛区域图像归一化为预设第二尺寸大小；利用眼睛状态识别模型对剪裁后眼睛区域图像中的眼睛眨眼状态进行识别，并统计得到预设第一时间段内眼睛区域图像序列中的眨眼次数；其中，所述眼睛状态识别模型为预先通过对预设第三数量的眼睛眨眼状态样本图像及眼睛正常状态样本图像进行标注并训练得到的卷积神经网络模型；

对所述嘴巴区域图像进行裁剪，将所述嘴巴区域图像归一化为预设第三尺寸大小；利用嘴巴状态识别模型对剪裁后嘴巴区域图像中的打哈欠状态进行识别，并统计得到预设第二时间段内嘴巴区域图像序列中的打哈欠次数；其中，所述嘴巴状态识别模型为预先通过对预设第四数量的嘴巴打哈欠状态样本图像及嘴巴正常状态样本图像进行标注并训练得到的卷积神经网络模型。