[发明专利]一种基于深度学习和多指标融合的疲劳检测方法

说明书

本发明涉及一种基于深度学习和多指标融合的疲劳检测方法，包括如下步骤，步骤1：采集驾驶员图像，并对图像进行预处理；步骤2：对处理后的图像进行人脸定位以及特征点检测；步骤3：通过眼睛和嘴巴状态识别网络模型对驾驶员的眼睛和嘴巴进行状态判断；步骤4：结合眼睛睁闭、嘴巴张闭、头部姿态进行融合判断驾驶员的疲劳状态。利用改进型MTCNN能够准确快速的检测到人脸以及眼睛和嘴巴区域，利用E‑MSR Net能够对嘴巴和眼睛的状态进行准确快速的判断，利用面部多特征融合算法能够对驾驶员的疲劳状态进行准确判断。

技术领域

本发明涉及交通安全的疲劳检测领域，尤其是一种基于深度学习和多指标融合的疲劳检测方法。

背景技术

疲劳驾驶时刻危害着道路交通安全，已经成为交通事故的重要原因。如何有效监测和判定疲劳驾驶状态，从而实现疲劳预警，已成为科学研究的热点。目前，驾驶疲劳检测方式主要有三种，一种是基于行车数据的驾驶员疲劳检测技术、第二种是基于驾驶员生理参数的驾驶疲劳状态检测方法以驾驶员驾驶车辆时的身体状态参数为输入数据、第三种是基于计算机视觉的疲劳检测方法。

第一种是基于行车数据的驾驶员疲劳检测技术，该技术通过监控车辆实时行驶轨迹，在一定的手持压力下方向盘的转速，行车监控装置实时监控车道线偏离程度等间接驾驶数据来检测驾驶员的疲劳状态。基于行车数据的疲劳检测是非侵入性的，在监控时不会影响驾驶员的正常驾驶动作。当监控显示驾驶车辆行驶轨迹偏离，或者手持方向盘压力减小，系统便会判别驾驶员当前为疲劳状态，并通过震动和语音将驾驶员唤醒。车辆的间接行驶数据还会受到驾驶员个人驾驶习惯、驾驶技术是否娴熟等非疲劳因数的干扰。

第二种是基于驾驶员生理参数的驾驶疲劳状态检测方法以驾驶员驾驶车辆时的身体状态参数为输入数据。通过医学专用仪器设备接收来自额头，心脏和肌肉等位置电极贴片的信号，信号传输到系统中实时分析，以临床上定义的生理参数信号的阈值为疲劳判别依据生理参数多采用专用的人体信号采集仪器进行收集，为了所采集数据的精密性和分析的正确性，医学设备的体积均较为庞大，放在驾驶室里多会占据驾驶员驾驶车辆的空间，驾驶员在驾驶车辆时无法完全施展开，在无形之中加重了意外情况的发生；另外，因为数据采集设备的一端必须要连接在人体的皮肤上，或置于头部，或置于躯干，多多少少会对驾驶员的行为有所限制，为本就充满危险的行驶路程，增加了不确定性。最重要的是，由于驾驶员之间存在的个体差异性，每位驾驶员疲劳判别的参数阈值不尽相同，这对疲劳状态的检测研究带来个体差异方面的阻力，系统设计时需更有针对性，不能做到系统的普适性。

第三种是基于计算机视觉的疲劳检测方法。对疲劳的驾驶员来说，从他们的面部特征，如眼睛、头和脸的变化中可以很容易地观察到一些视觉上的变化，包括更长的眨眼时间、缓慢的眼睑运动、较小程度的睁眼(甚至闭上眼睛)、频繁的点头、打哈欠、凝视(视线狹窄)、迟缓的面部表情和下垂的姿势等等。计算机视觉是一种自然的、非侵入性的方法。从摆在驾驶员面前的摄像机拍摄的图像中提取可以表征驾驶员疲劳水平的面部视觉特征，结合机器视觉、图像处理和模式识别等相关技术，对驾驶员的眼睛状态、嘴部状态以及头部运动状态等进行分析，进而判断驾驶员的疲劳状态。与众多传统方法相比，基于计算机视觉的疲劳检测方法具有非接触、无干扰、检测精度高等优势。

现有的检测方法存在舒适度低、容易受光照等外界因素影响、单一指标导致准确率低等问题。。

发明内容

针对上述问题，本发明提供了一种基于深度学习和多指标融合的驾驶疲劳检测方法，具有人脸定位及特征点检测、状态判断、疲劳判断等功能，实现了对驾驶员疲劳状态的准确判断。

本发明提供如下技术方案：一种基于深度学习和多指标融合的疲劳检测方法，包括如下步骤，步骤1：采集驾驶员图像，并对图像进行预处理；步骤2：对处理后的图像进行人脸定位以及特征点检测；步骤3：通过眼睛和嘴巴状态识别网络模型对驾驶员的眼睛和嘴巴进行状态判断；步骤4：结合眼睛睁闭、嘴巴张闭、头部姿态进行融合判断驾驶员的疲劳状态。