[发明专利]伪3D卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统

说明书

本发明公开了一种伪3D卷积神经网络与注意力机制结合的驾驶疲劳检测方法。包括：1）对驾驶视频提取视频帧序列并处理；2）采用伪3D卷积模块进行时空特征学习；3）构建P3D‑Attention模块，使用注意力机制在通道与特征图上施加关注；4）使用2D全局平均池化层替代3D全局平均池化层获得更具表达能力的特征，并使用softmax分类层进行分类。本发明能够分析哈欠、眨眼、头部特征运动，很好地将呵欠行为与说话行为动作区分开来；有效地将警戒、低警惕性和困倦三种状态区分开，以提高对疲劳驾驶行为的预测性能。

技术领域

本发明涉及智能视频分析技术领域，具体是伪3D卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统。

背景技术

疲劳驾驶是交通事故的主要原因之一。处于疲劳状态的驾驶员经常感到困倦、短暂意识丧失，降低警觉性与应对异常事件能力，造成对交通管制和危险反应时间变慢，从而导致事故的发生。美国汽车协会报告说，驾驶疲劳状况占道路交通事故比例最大，所有事故的7％和致命交通事故的21％是由疲倦的驾驶员引起的。现有技术用于检测疲劳驾驶行为可分为基于生理参数、基于车辆行为和基于面部特征分析三类方法。

基于生理参数的检测方法要求传感器与驾驶员身体接触，利用生理信号进行驾驶员睡意检测，如心电图（electrocardiography，ECG）、脑电图（electroencephalogram，EEG）。利用多种传感器组合测量不同的生理参数，如融合测量肌电图（electromyography，EDA）、呼吸和心电图检测驾驶员睡眠状态的系统，该方法虽然能够获得较高的疲劳驾驶检测精度，但是高昂的实验成本与侵入性特征限制了其应用范围。基于车辆行为的检测方法利用车辆行为参数检测驾驶疲劳行为，如车道偏离检测、方向盘转角（steering wheelangle，SWA）和偏航角（yaw angle，YA）信息，但是该方法也依赖于如道路状况等一些外部因素。

基于面部特征分析的检测方法，通过对驾驶员面部特征提取特征点，比较驾驶员在疲劳状态和正常状态的表现，检测驾驶员头部移动姿态、眼睛状态、眨眼和哈欠等疲劳行为特征。与上述两种方法相比，该方法具有非入侵、易于实现等优点。一种通过红外传感器连续记录眼睑的运动并研究自发眨眼参数的有效性，考察眨眼持续时间的子成分，即关闭时间、重新打开时间和关闭时间，研究表明，闪烁持续时间和重新打开时间这两个参数随着睡意的增加而可靠地变化。通过评估最新的基于眼睛追踪的车内疲劳预测措施的性能，研究基于摄像机的驾驶员睡意检测方法，将符合标准（最小/最大持续时间、形状和最小振幅）的候选眨眼标记为有效的眨眼。通过采用面部识别的算法，应用一种基于边缘检测和纹理测量的技术分割眼睛并计算随时间变化的眼睛特征，在高照度下获得95.83%的有效性，在中等照度下获得87.5%的有效性。一种基于支持向量机的人脸提取系统，使用基于面部提取的支持向量机和一种基于圆形霍夫变换的新嘴部检测方法，应用于嘴部提取区域，并通过嘴部的张开大小判断疲劳状态。这些方法基于手工制作的特征，无法彻底探索不同视觉线索之间的复杂关系，忽略了眼部和嘴部遮挡问题，各人打哈欠时间、嘴巴张开大小存在明显差异，也没有考虑面部表情的特征变化和头部移动姿态等问题。