[发明专利]一种车载疲劳驾驶检测系统

说明书

本发明公开了一种车载疲劳驾驶检测系统，包括数据采集硬件模块，眼睛注视点分析模块，血氧/心率等生理参数分析模块，可选的人脸表情分析模块，以及多信息融合人工智能分析疲劳驾驶模块。其中数据采集硬件模块包括一个或者多个相机，用于采集司机面部的图像或者光谱信息；血氧/心率等生理参数分析模块通过540nm的吸收峰和510nm的反射峰比值变化或者通过光谱信息检测人体的血氧浓度变化及心率；眼睛注视点分析模块利用相机采集的图像结合深度学习提取出司机的注视点时序，得到注视方向和关注的区域；多信息融合人工智能分析疲劳驾驶模块融合多信息训练，进而判断是否有疲劳驾驶异常。本发明效率高，可靠性高，操作简便。

技术领域

本发明属于光谱检测技术、计算机视觉与人工智能相结合的领域，涉及一种车载疲劳驾驶检测系统。

背景技术

在当今社会压力越来越大的情况下，疲劳驾驶已经成为了威胁交通安全的重大隐患。随着网约车的流行，长时间工作的司机越来越多，使得社会对疲劳驾驶预防检测方案的需求日益增加，目前主要的检测手段为交通警察的行车记录检测，通常需要通过观察主观推测行车司机状态，或者等事故发生后再进行追责，无法防患于未然，效率低下且无法全面覆盖检测。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种车载疲劳驾驶检测系统。

一种车载疲劳驾驶检测系统，包括数据采集硬件模块、血氧/心率等生理参数分析模块、眼睛注视点分析模块和多信息融合人工智能分析疲劳驾驶模块；其中数据采集硬件模块包括一个或者多个相机，用于采集司机面部的图像或者光谱信息；所述的相机包括普通数码相机、光谱相机或RGBD相机；所述的血氧/心率等生理参数分析模块通过540nm的吸收峰和510nm的反射峰比值变化检测人体的血氧浓度变化及心率，或者通过光谱信息检测人体的血氧浓度及心率；所述的眼睛注视点分析模块利用相机采集的图像结合深度学习提取出司机的注视点时序，得到注视方向和关注的区域；所述的多信息融合人工智能分析疲劳驾驶模块融合所述的血氧/心率等生理参数分析模块输出的人体血氧浓度/心率和所述的眼睛注视点分析模块输出的注视点时序和关注区域的时序变化信息进行多信息训练，进而判断司机是否有疲劳驾驶时眼睛注视点时序的异常与生理参数的异常。

所述的一种车载疲劳驾驶检测系统，第一相机前置贴合有540nm滤光片，第二相机前置贴合有510nm滤光片，用于获得 540nm的吸收峰和510nm的反射峰。

所述的眼睛注视点分析模块利用相机采集的图像结合深度学习检测司机的头部矢量（head vector）及注视方向(gazing vector)，进而判断司机的眼睛注视点时序是否有疲劳驾驶的特征，步骤如下：

1）使用人脸检测算法，检测人脸位置，提取人脸图片；

2）将人脸图片输入到深度神经网络中，再联合PNP算法等得到头部矢量信息及特征点坐标；

3）对于精度要求更高的场景，使用人脸关键点检测算法，检测包含人眼关键点信息的人脸关键点信息；

4）将得到的人脸关键点位置信息输入到训练好的深度学习神经网络中，得到注视方向；

5）根据头部矢量或者头部矢量加注视方向信息，结合特征点坐标，计算出该人关注的区域。

所述头部矢量信息，为人脸朝向的方向向量，包括偏航角、转动角和倾斜角。

所述人脸关键点信息包括人眼以及人脸轮廓的位置信息。

所述注视方向，为视线的方向向量，包含偏航角、转动角、倾斜角。

所述的计算出该人关注的区域，并判断关注区域的时序变化是否有疲劳驾驶的特征，包括关注区域不会左右切换，而是在不断地缓慢浮动/抖动变化。