[发明专利]一种多特征融合的危险驾驶行为检测方法及系统

权利要求书

1.一种多特征融合的危险驾驶行为检测方法及系统，其特征在于，所述系统包括以下内容：

所述系统通过车载摄像头采集驾驶员图像信号并进行处理，检测驾驶员的若干种异常状态后给予提示，并将危险驾驶行为图像保存；所述方法包含以下内容：加载特定背景下训练的驾驶员面部检测模型，检测驾驶员面部特征点坐标信息，利用坐标信息检测驾驶员的疲劳程度；运用CNN网络训练表情识别模型，识别驾驶员的生气、恐惧、愤怒等影响安全驾驶的表情；建立驾驶员头部三维坐标信息，实时检测驾驶员头部偏转角度；检测驾驶员骨骼特征点信息，识别驾驶员危险驾驶动作，如打电话等；将以上特征采用模糊综合评价算法对驾驶员的驾驶专注度进行评分。

2.根据权利要求书1所述的，一种多特征融合的危险驾驶行为检测方法及系统，其特征在于，所述方法包括以下步骤：

步骤一、采集大量的驾驶员在主驾驶位置上的图片信息，运用深度神经网络网络训练针对于驾驶室内的驾驶员面部图像信息并生成面部检测模型；

步骤二、使用步骤一生成的面部检测模型，提取驾驶员面部图像，计算驾驶员眼睛的张开程度与嘴部的张开程度，根据眼睛的张开程度与嘴部的张开程度公式，进一步判断驾驶员是否处于疲劳状态；

步骤三、根据步骤二所用公式，判断某时间段内的驾驶员的疲劳程度。

3.根据权利要求书1所述的，一种多特征融合的危险驾驶行为检测方法及系统，其特征在于，所述方法包括以下步骤：

步骤一、搭建用于面部表情识别的卷积神经网络CNN；

步骤二、利用Fer2013人脸表情数据集训练步骤一的网络，能够识别生气、愤怒等表情并成成表情检测模型；

步骤三、利用步骤二模型对驾驶员的表情进行检测。

4.根据权利要求书1所述的，一种多特征融合的危险驾驶行为检测方法及系统，其特征在于，所述方法包括以下步骤：

步骤一、对驾驶员2D人脸进行关键点检测；

步骤二、建立驾驶员头部3D模型以及人3D脸模型匹配；

步骤三、计算3D点与2D点的角度转换关系；

步骤四、计算驾驶员头部偏转角。

5.根据权利要求书1所述的，一种多特征融合的危险驾驶行为检测方法及系统，其特征在于，所述方法包括以下步骤：

步骤一、加载骨骼关键点检测模型获取人体关节点坐标信息；

步骤二、加载手部关键点检测模型获取手部关节点坐标信息；

步骤三、根据关键点信息计算右手(左手)到右耳(左耳)的距离；

步骤四、计算左手或者右手到鼻子的距离；

步骤五、判断驾驶员是否在存在危险驾驶，如：抽烟，打电话等。

6.根据权利要求书1所述的，一种多特征融合的危险驾驶行为检测方法及系统，其特征在于：利用模糊综合评价算法，建立第一级评价因素，如：生气表情出现次数A1等，建立第二级评价因素，如：情绪状态分数S1等，利用层次分析法确定因素权重，最终得出驾驶员专注度得分 。