[发明专利]一种车载疲劳驾驶检测系统

权利要求书

1.一种车载疲劳驾驶检测系统，其特征在于：包括数据采集硬件模块、血氧/心率等生理参数分析模块、眼睛注视点分析模块和多信息融合人工智能分析疲劳驾驶模块；

其中数据采集硬件模块包括一个或者多个相机，用于采集司机面部的图像或者光谱信息；所述的相机包括普通数码相机、光谱相机或RGBD相机；

所述的血氧/心率等生理参数分析模块通过540nm的吸收峰和510nm的反射峰比值变化检测人体的血氧浓度变化及心率，或者通过光谱信息检测人体的血氧浓度及心率；

所述的眼睛注视点分析模块利用相机采集的图像结合深度学习提取出司机的注视点时序，得到注视方向和关注的区域；

所述的多信息融合人工智能分析疲劳驾驶模块融合所述的血氧/心率等生理参数分析模块输出的人体血氧浓度/心率和所述的眼睛注视点分析模块输出的注视点时序和关注区域的时序变化信息进行多信息训练，进而判断司机是否有疲劳驾驶时眼睛注视点时序的异常与生理参数的异常。

2.根据权利要求1所述的一种车载疲劳驾驶检测系统，其特征在于：第一相机前置贴合有540nm滤光片，第二相机前置贴合有510nm滤光片，用于获得 540nm的吸收峰和510nm的反射峰。

3.根据权利要求1所述的一种车载疲劳驾驶检测系统，其特征在于：所述的眼睛注视点分析模块利用相机采集的图像结合深度学习检测司机的头部矢量（head vector）及注视方向(gazing vector)，进而判断司机的眼睛注视点时序是否有疲劳驾驶的特征，步骤如下：

1）使用人脸检测算法，检测人脸位置，提取人脸图片；

2）将人脸图片输入到深度神经网络中，再联合PNP算法等得到头部矢量信息及特征点坐标；

3）对于精度要求更高的场景，使用人脸关键点检测算法，检测包含人眼关键点信息的人脸关键点信息；

4）将得到的人脸关键点位置信息输入到训练好的深度学习神经网络中，得到注视方向；

5）根据头部矢量或者头部矢量加注视方向信息，结合特征点坐标，计算出该人关注的区域。

4.根据权利要求3所述的一种车载疲劳驾驶检测系统，其特征在于：

所述头部矢量信息，为人脸朝向的方向向量，包括偏航角、转动角和倾斜角。

5.根据权利要求3所述的一种车载疲劳驾驶检测系统，其特征在于：

所述人脸关键点信息包括人眼以及人脸轮廓的位置信息。

6.根据权利要求3所述的一种车载疲劳驾驶检测系统，其特征在于：所述注视方向，为视线的方向向量，包含偏航角、转动角、倾斜角。

7.根据权利要求3所述的一种车载疲劳驾驶检测系统，其特征在于：所述的计算出该人关注的区域，并判断关注区域的时序变化是否有疲劳驾驶的特征，包括关注区域不会左右切换，而是在不断地缓慢浮动/抖动变化。

8.根据权利要求1所述的一种车载疲劳驾驶检测系统，其特征在于：进一步包括人脸表情分析模块，用于分析人的面部表情，所述的多信息融合人工智能分析疲劳驾驶模块融合所述的血氧/心率等生理参数分析模块输出的人体血氧浓度/心率，所述的眼睛注视点分析模块输出的注视点时序和关注区域的时序变化信息和人脸表情分析模块输出的人脸表情进行多信息训练，进而判断司机是否有疲劳驾驶时眼睛注视点时序的异常与生理参数的异常。

9.根据权利要求8所述的一种车载疲劳驾驶检测系统，其特征在于：所述的人脸表情分析模块采用深度学习神经网络进行训练学习。

10.根据权利要求1所述的一种车载疲劳驾驶检测系统，其特征在于：所述的血氧/心率等生理参数分析模块、眼睛注视点分析模块和多信息融合人工智能分析疲劳驾驶模块的部分或者全部位于上位机或者远程服务器。