[发明专利]一种基于深度学习的驾驶员疲劳监测系统

权利要求书

1.一种基于深度学习的驾驶员疲劳监测系统，其特征在于：包括图像获取模块、人脸检测模块、图像处理模块与服务器模块；

图像获取模块：用于获取原始图像；

人脸检测模块：利用YOLO v3深度学习算法，进行人脸检测，获得人脸的位置；

图像处理模块：主要包括人脸关键点检测、疲劳状态判断、视野偏离估计与危险驾驶行为识别，所述疲劳状态判断与视野偏离估计前提是需要提取出人脸关键点检测，所述人脸关键点检测根据回归树的人脸关键点检测算法对获取的人脸的位置进行处理，当获得一帧图片后，人脸关键点检测算法会根据人脸检测出的位置坐标，在人脸区域内将默认的特征点位置作为检测的初始位置，之后通过将均方误差作为损失函数进行迭代回归，得到最终的人脸特征点位置，通过计算出的68个特征点能够定位出人脸轮廓、眉毛、眼睛、鼻子和嘴巴部分，完成人脸关键点检测；

某一帧图像迭代的公式表示如下所示：

其中表示第t＋1次迭代估计的位置，表示第t次迭代估计的位置，表示本次迭代的回归器；

所述疲劳状态判断在获得眼睛、鼻子、嘴巴与脸型的68个关键点后，根据每只眼睛的横纵间距之比作为判断依据，判断驾驶员是否处于疲劳状态；

所述视野偏离估计在获得眼睛、鼻子、嘴巴与脸型的68个关键点后，提取左眼睛左角、左眼睛右角、右眼睛左角、右眼睛右角、鼻子中部、嘴巴左角、嘴巴右角7个位置关键点坐标，通过矩阵变换，估计出人脸姿态的角度，从而判断是否偏离；

所述危险驾驶行为识别采用基于深度学习的Resnet图像分类网络，判断正常与危险驾驶；

服务器模块：包括信息融合与后端服务器，所述信息融合将视野偏离估计与危险驾驶行为识别获取的信息通过字符方式叠加在所获取的原始图像上，所述后端服务器将叠加了字符的图像传输至服务器并显示。

2.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述横纵间距之比小于5，则表示睁眼；反之，则判断为闭眼，最后再根据闭眼时间和PERCLOS准则，判断驾驶员是否处于疲劳状态。

3.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述人脸姿态的角度包括方位角度、俯仰角度和横滚角度。

4.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述原始图像的获取主要通过外界传感器获取，并且经过ISP处理。

5.根据权利要求4所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述ISP处理包括自动曝光、锐化与增强。

6.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述Resnet图像分类网络为Resnet50图像分类网络。

7.根据权利要求6所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述Resnet50图像分类网络由15个残差块、一个7*7卷积与avgpool层构成，并采集了3400多张不同分类的图像进行训练。

8.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述危险驾驶包括抽烟与打电话。

9.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述信息融合将危险驾驶、视野偏离、疲劳根据时间进行分级报警，并且当出现几种驾驶员异常行为时，视野偏离报警级别最高，疲劳次之，危险驾驶最低。