[发明专利]基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统

权利要求书

1.基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于：包括控制器，控制器电性连接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、ECG心率特征进行特征提取，生成对抗网络模型需要数据集驱动训练，数据集为所采集的人脸图像帧与对应的标签ECG心率信号，综合判定其疲劳程度。

2.根据权利要求1所述基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于，所述机械模块设置在方向盘本体（1）上，通过设置的机械模块检测方向盘本体（1）的运动状态和受压力状态，在结合面部特征信息和心率特征信息综合判定疲程度；所述机械模块包括方向盘本体（1），所述方向盘本体（1）连接有转向杆（2），所述方向盘本体（1）与转向杆（2）连接处设有转向块，所述转向块与方向盘本体（1）固定连接。

3.根据权利要求2所述基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于，所述转向杆（2）延伸至固定台（4）内，所述固定台（4）与车体的中控台为一体结构，所述固定台（4）与转动块（3）对应设置，所述固定台（4）靠近转动块（3）的一侧表面均匀设有多个第一压电片（5），多个所述第一压电片（5）呈环形结构分布，所述转动块（3）靠近固定台（4）的一侧设有多个拨动块（6），多个所述拨动块（6）在转动块（3）的侧面呈环形分布，所述拨动块（6）与第一压电片（5）相对应设置，拨动块（6）能够拨动第一压电片（5）振动。

4.根据权利要求3所述基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于，每两个所述第一压电片（5）之间均设有第一弹性体（7），所述第一弹性体（7）在多个第一压电片（5）之间构成环形结构，所述第一弹性体（7）包括第一管体（71），所述第一管体（71）为弧形结构，所述第一管体（71）的一端与第一压电片（5）连接，第一管体（71）的另一端设有第一导杆（72），第一导杆（72）为弧形结构，第一导杆（72）的一端设置在第一管体（71）的内部，能够在第一管体（71）内滑动；所述第一导杆（72）的另一端与第一压电片（5）连接；所述第一管体（71）和第一导杆（72）的外侧设有第一弹簧（73），所述第一弹簧（73）的两端连接两个相邻的第一压电片（5），所述第一压电片（5）连接有整流器，所述整流器与控制器连接，通过控制器监测第一压电片（5）产生的电势差大小。

5.根据权利要求2所述基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于，所述方向盘本体（1）上设有方向盘套（8），所述方向盘套（8）内部设有第二压电片（9），第二压电片（9）沿方向盘本体（1）截面的周向设置，第二压电片（9）的两端与方向盘套（8）连接；所述第二压电片（9）与方向盘套（8）之间设有多组第二弹性件，所述第二弹性件包括第二套管，所述第二套管的一端与第二压电片（9）连接，所述第二套管的另一端设有第二导杆（12），所述第二导杆（12）与第二管体（11）间隙滑动连接，所述地二导杆的另一端与所述方向盘套（8）连接。

6.根据权利要求5所述基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于，所述第二管体（11）和第二导杆（12）的外侧设有第二弹簧（13），所述第二弹簧（13）的一端与第二压电片（9）连接，另一端与所述方向盘套（8）连接；所述第二压电片（9）连接有整流器，所述整流器与控制器连接，通过控制器监测第二压电片（9）产生的电势差大小。