[发明专利]一种基于深度学习和多指标融合的疲劳检测方法

权利要求书

1.一种基于深度学习和多指标融合的疲劳检测方法，其特征在于包括如下步骤，

步骤1：采集驾驶员图像，并对图像进行预处理；

步骤2：对处理后的图像进行人脸定位以及特征点检测；

步骤3：通过眼睛和嘴巴状态识别网络模型对驾驶员的眼睛和嘴巴进行状态判断；

步骤4：结合眼睛睁闭、嘴巴张闭、头部姿态进行融合判断驾驶员的疲劳状态。

2.根据权利要求1所述的基于深度学习和多指标融合的疲劳检测方法，其特征在于，

所述步骤1中，将收集到的图像通过直方图均衡化方法来增强图像的整体对比度、通过高通滤波器方法来去除图像的噪声。

3.根据权利要求1所述的基于深度学习和多指标融合的疲劳检测方法，其特征在于，

所述步骤2中，

步骤2.1：针对在真实驾驶环境下MTCNN经常出现漏检的情况，对MTCNN进行改进优化；

步骤2.2：使用WIDER FACE数据库作为改进型MTCNN模型的人脸定位数据集，使用MTFL数据库作为改进型MTCNN人脸特征点训练的数据集；

步骤2.3：将经过预处理的图像输入到训练好的改进型MTCNN模型中进行人脸定位和特征点检测；

步骤2.4：将检测到的人脸特征点通过POSIT算法进行2D到3D特征点的坐标转换，进一步求得驾驶员的头部姿态参数，分别为偏航角、俯仰角、翻滚角，根据这些参数进一步来估计驾驶员的头部姿态；

步骤2.5：根据步骤2.3检测到的眼睛和嘴巴特征点，将驾驶员的眼睛和嘴巴区域提取出来。

4.根据权利要求3所述的基于深度学习和多指标融合的疲劳检测方法，其特征在于，

对MTCNN进行改进优化时，在MTCNN模型的O-Net网络中的最后一层卷积层之后添加一层多尺度池化层SPP，将不同尺寸的特征图经过多尺度池化层之后输出一个固定长度的向量；

在MTCNN每一层网络激活函数之前加入批量归一化算法BN,将输入值进行标准化，降低输入值的差异至同一个范围内。

5.根据权利要求3所述的基于深度学习和多指标融合的疲劳检测方法，其特征在于，

步骤3的具体步骤包括：

步骤3.1：对MobileNetV2网络进行优化，获得用于判断驾驶员眼睛和嘴巴状态的深度可分离卷积神经网络E-MSR Net；

步骤3.2：使用包括睁眼、闭眼、张嘴和闭嘴四个类型的自建数据集作为E-MSR Net训练的数据集；

步骤3.3：将步骤2.5提取出的眼睛和嘴巴区域输入到训练好的E-MSR Net模型中进行状态判断。

6.根据权利要求5所述的基于深度学习和多指标融合的疲劳检测方法，其特征在于，

对MobileNetV2网络进行优化时，

在MobileNetV2网络中的倒残差结构中加入SE网络，SE网络包含压缩和激励两部分，对输入特征图进行全局平均池化操作，然后连接两个全连接层，增加对特征图的非线性处理，拟合通道之间复杂的相关性；

用h-swish函数替代MobileNetV2网络中使用的sigmoid函数。

7.根据权利要求5所述的基于深度学习和多指标融合的疲劳检测方法，其特征在于，

步骤4的具体步骤包括：

步骤4.1：设定f_e表示眼睛闭合率ECR，用以判断驾驶员的眼睛疲劳状态，计算公式如下所示：

其中t_e表示检测时间内眼睛闭合帧数，T_e表示检测时间内的总帧数；

步骤4.2：设定f_m表示嘴巴张开率MOR，用以判断驾驶员的嘴巴疲劳状态，计算公式如下所示：

其中t_m表示检测时间内嘴巴张开的帧数，T_m表示检测时间内的总帧数；

步骤4.3：设定f_h表示头部非正脸率HNFR，用以判断驾驶员头部姿态状态，计算公式如下：

其中t_h表示检测时间内头部姿态为疲劳的帧数，T_h表示检测时间内的总帧；

步骤4.4：将上述ECR、MOR、HNFR三种评价指标的参数阈值融合作为判断驾驶员是否疲劳，具体评价指标如下：

normal为正常状态，danger为危险状态即疲劳状态。