[发明专利]一种基于深度学习的疲劳检测方法、系统和计算机设备

说明书

本发明公开了一种基于深度学习的疲劳检测方法、系统和计算机设备，方法包括：获取当前帧视频流图片；通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息；所述人脸位置信息包括人脸框的位置信息；所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息；基于所述人眼位置信息，通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息；根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度，判断出疲劳状态。本发明能够快速跟踪到人脸位置及提取提取眼睛上下边缘特征点，且识别精度更高，从而快速准确地检测出疲劳状态。

技术领域

本发明涉及汽车驾驶辅助终端领域，具体涉及一种基于深度学习的疲劳检测方法、系统和计算机设备。

背景技术

随着社会的快速发展，道路上交通车辆呈现井喷式增长，交通事故也频繁发生。发生交通事故最主要的原因是司机疲劳驾驶，在行车过程中反应过慢。所以，实时检测司机开车时的疲劳状态是非常重要的，及时的提醒司机往往能够大大减少交通事故的发生。目前疲劳检测的方法也是多种多样的，就视觉识别方法来说有以下几种：

(1)纯图像算法处理的疲劳检测算法：adaboost人脸检测算法检测人脸；对人脸区域进行水平投影和垂直投影定位人眼；根据大津法取阈值二值化眼睛区域；最后，通过二值化之后的图像判断眼睛的是张开还是闭合。优点：速度很快，在良好的光照条件有比较好的识别效果；缺点：无法适应复杂的光照条件，所以应用场景单一。

(2)传统的机器学习疲劳检测算法：利用adaboost或者JDA算法进行人脸检测，然后使用LBP特征进行人脸特征点定位并且跟踪，跟踪人脸特征点可以找到人眼位置，将人眼区域输进去支持向量机里面分类判断疲劳状态。优点：速度也是较快，模型鲁棒性增强；缺点:无法区分眼睛张开程度，对于小眼睛情况全部认为是闭眼。

(3)深度学习的疲劳检测算法：利用MTCNN检测人脸，同时利用MTCNN输出的人脸特征点定位眼睛，将定位出来的眼睛输入深度学习模型通过直接分类判断疲劳。优点是：人脸定位准确，疲劳分类准确；缺点：MTCNN人脸检测速度比较慢，分类结果不能实时反映眼睛张开状态。

发明内容

本发明的主要目的在于提出一种基于深度学习的疲劳检测方法、系统和计算机设备，能够使得识别速度更快，识别效果更好。

本发明采用如下技术方案：

一方面，本发明提供一种基于深度学习的疲劳检测方法，包括：

获取当前帧视频流图片；

通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息；

基于所述人眼位置信息，通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息；所述人脸位置信息包括人脸框的位置信息；所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息；

根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度，判断出疲劳状态。

优选的，所述通过基于第一深度学习模型的人脸跟踪算法获得当前帧视频流图片的人脸位置信息和人眼位置信息，具体包括：

步骤a1，判断当前帧视频流图片的前一帧是否检测有检测到人脸；如果没有，使用MTCNN算法检测当前帧视频流图片的人脸位置并保存，不再执行其他步骤；否则，执行步骤a2；

步骤a2，将前一帧检测到的人脸位置扩大预设倍数后作为当前帧人脸框图并归一化到指定尺寸；

步骤a3，通过第一深度学习模型识别出当前帧人脸框图是否包括人脸；如果包括，执行步骤a4；