[发明专利]基于长短期记忆网络的驾驶员疲劳检测

权利要求书

1.一种基于长短期记忆网络的驾驶员疲劳检测方法，包括下列步骤：

步骤1：搭建红外视频采集系统分别采集驾驶员在不戴眼镜、戴墨镜、戴近视眼镜三种情况下的人脸视频图像组成疲劳检测数据集；

步骤2：利用基于多任务级联的卷积神经网络的检测算法通过对三个卷积神经网络进行级联，可以同时实现人脸检测与脸部特征点定位；

步骤3：对步骤2中的人脸图像进行处理，驾驶员眼睛区域可以根据得到的特征点坐标结合眼睛分布的对称性和实验测试结果确定位置约束条件来求解；

步骤4：将步骤3中得到的人眼图像序列数据输入到端到端的卷积循环神经网络中，将深层卷积结构与长短期记忆单元结合，通过分析一段时间内人眼图像序列的时序关系进行疲劳判决。

2.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤1中，采用3.6mm焦距、70度视角的红外相机采集驾驶员脸部图像，并搭配850nm的红外光源进行补光，同时借助850nm的窄带滤光片减少其他波长光线的干扰，并且可以透过墨镜获取到清晰的眼部区域图像，同时也能满足夜间使用的需求，提高算法的鲁棒性。

3.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤2中，在数据处理阶段，为应对目标多尺度问题，将原始人脸图像缩放到不同尺寸，构建图像金字塔，作为三阶级联架构的输入，然后在构建图像金字塔的基础上，利用全卷积网络P-Net生成候选窗和边框回归向量，接着使用一个卷积神经网络R-Net精选上一阶段生成的人脸候选框，进一步舍弃重叠的候选窗体，最后通过另一个卷积神经网络O-Net，得到最终的人脸边框和五个特征点位置。

4.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤3中，为了获得驾驶员人眼图像序列，通过多任务级联的卷积神经网络定位人脸边框和特征点位置，将人脸检测和特征点定位两个问题统一到多任务框架下，并利用三个子网络和非极大值抑制在训练过程中完成样本的挖掘，眼睛感兴趣区域的坐标可以通过特征点坐标结合位置约束条件来求解。

5.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤4中，通过基于多任务级联的卷积神经网络人眼区域定位算法从视频片段中获取眼部图像的连续帧序列，接着将每个视频的连续16帧看作一个时间步长，每个时间步中的输入通过一个具有深层卷积层的CNN模块，学习人眼的深层次的卷积感知表达，产生维度为1×1×512的向量，并输入到一个由LSTM单元构成的序列学习模块中，用以捕获时间序列的相关性，最后产生一个二维的向量预测结果。