[发明专利]基于长短期记忆网络的驾驶员疲劳检测

摘要

本发明涉及一种基于长短期记忆网络的驾驶员疲劳检测方法，包括：1)借助红外采集设备采集驾驶员人脸视频图像；2)利用多任务级联的卷积神经网络进行人脸检测与特征点定位，根据特征点之间的几何关系获取驾驶员人眼图像序列；3)设计了一种端到端的卷积循环神经网络，提取人眼空间特征，同时分析相邻图像帧之间上下文关系，结合一段时间内人眼图像特征的时序变化来判断驾驶员是否处于疲劳状态。结果表明，该方法在光线条件差以及驾驶员佩戴墨镜等情况下，也能准确地提取眼部特征，相比于基于CNN结合PERCLOS标准的疲劳检测方法，取得了更高的疲劳检测准确率，实现了对驾驶员驾驶状态视频级别的预测。

主权项

1.一种基于长短期记忆网络的驾驶员疲劳检测方法，包括下列步骤：步骤1：搭建红外视频采集系统分别采集驾驶员在不戴眼镜、戴墨镜、戴近视眼镜三种情况下的人脸视频图像组成疲劳检测数据集；步骤2：利用基于多任务级联的卷积神经网络的检测算法通过对三个卷积神经网络进行级联，可以同时实现人脸检测与脸部特征点定位；步骤3：对步骤2中的人脸图像进行处理，驾驶员眼睛区域可以根据得到的特征点坐标结合眼睛分布的对称性和实验测试结果确定位置约束条件来求解；步骤4：将步骤3中得到的人眼图像序列数据输入到端到端的卷积循环神经网络中，将深层卷积结构与长短期记忆单元结合，通过分析一段时间内人眼图像序列的时序关系进行疲劳判决。