[发明专利]基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统

说明书

本发明公开了基于面部多模态深度学习的疲劳驾驶视觉检测系统，包括控制器，控制器电性连接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、心率特征进行特征提取，将提取的特征信息进行分类融合，综合判定其疲劳程度。

技术领域

本发明属于疲劳驾驶检测技术领域，尤其涉及基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统。

背景技术

疲劳驾驶是指由于驾驶人超强度、长时间的开车，因体力消耗过大造成反应和操控水平降低，进而影响驾驶操作的情况。由于司机全靠注意力来处理感知到的路况，情境意识对于驾驶显得至关重要，长时间的连续行车是造成疲劳驾驶的主要原因，会导致驾驶员的生理机能出现衰退，同时心理机能也会出现失调，客观上表现为反应时间明显延长，操控不灵活。

因日益严峻的道路交通安全形势带来的现实压力以及在避免交通安全事故中的重要作用和巨大的商业价值，疲劳驾驶检测技术倍受国内外科研人员以及相关企业的关注，并进行了深入的研究。目前对于司机疲劳驾驶检测方法分主要为四类，即基于面部特征的疲劳状态识别方法，基于车辆行驶信息的疲劳检测方法，基于生理特征的疲劳状态识别方法，基于多元信息融合的疲劳检测方法。

目前大多数疲劳驾驶检测方法根据单一特征建立模型，但是驾驶员疲劳现象是多种因素相互作用的结果，这些因素之间有着复杂的关系。导致提出的疲劳驾驶检测方法准确率不高，泛化性能较差，鲁棒性较低。基于单一疲劳特征的深度学习通常不足以判断疲劳的发生，尤其是通过外观进行观察来判断往往落后于疲劳真正发生的时间，且容易被伪装导致判断错误。基于深度学习的疲劳驾驶检测方法研究需要大量的数据作为研究基础，目前并未出现大量与疲劳驾驶检测方法研究相关的数据集，这给基于多特征融合和深度学习的疲劳驾驶检测方法的研宄带来了限制。目前大多数疲劳驾驶检测方法都只对数据进行了静态分析，忽略了数据的时序特性和上下文信息，导致所建立的疲劳驾驶检测方法精度低，在实际应用过程中效果较差。驾驶员面部早期疲劳特征难以检测，导致驾驶辅助系统无法及时识别驾驶员准确疲劳状态。以及当前可穿戴心率生理信号设备需要接触具有一定侵扰性的问题，影响驾驶员正常操作。

发明内容

针对现有技术不足，本发明的目的在于提供了基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，通过采集视频图像，采用深度学习方法提取并融合面部行为特征和rPPG心率特征，进行驾驶疲劳识别。该方法能够结合多特征疲劳的时序性及上下文信息设计基于LSTM网络融合模型完成对司机疲劳状态实时监测。该方法相比于单一特征检测模型，准确率较高，泛化性能较强，可靠性较高。提取出面部行为疲劳特征及rPPG心率疲劳特征，该系统单一依靠面部视频进行多特征融合疲劳检测具有非接触、无侵扰等优势。

本发明提供如下技术方案：

基于面部多模态深度学习的疲劳驾驶视觉检测系统，包括控制器，控制器电性连接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、ECG心率特征进行特征提取，生成对抗网络模型需要数据集驱动训练，数据集为所采集的人脸图像帧与对应的标签ECG心率信号，综合判定其疲劳程度。