[发明专利]一种基于计算机视觉的疲劳驾驶检测方法

权利要求书

1.一种基于计算机视觉的疲劳驾驶检测方法，其特征在于，首先启动设备，对摄像头进行初始化操作；然后依次进行以下操作：

步骤一、视频采集：对驾驶员面部视频进行采集，获取驾驶员面部图像序列；

步骤二、人脸检测：

1)输入图像I，经过深层卷积网络提取特征，获得输入图像的特征图；

2)在RPN网络中使用双阈值-非极大值抑制方法获得多个候选区域，具体公式为：

式中，S_i为该检测框的原始得分，S_f为该检测框的最后得分，M为得分最高的候选框，b_i为待检测框，IoU(M,b_i)为当前检测框b_i和M的交并比，N_t和N_i为阈值；

3)得到特征图的候选区域信息后，结合深层卷积网络提取的特征，使用双线性插值法替换原始的最近邻插值法，将不同大小的候选框变换成统一尺寸；

4)经过两个全连接层得到一个特征向量，该特征向量分别再经过两个全连接层，其中一个输出为图像的矩形框的位置与大小，另一个输出经过Softmax分类器，从而确定对象的类别；

步骤三、目标跟踪：对步骤一获得的驾驶员面部图像序列中的人脸进行跟踪，获得更为精确的驾驶员面部图像；

步骤四、神经网络Fatigue-CNN：利用神经网络Fatigue-CNN对步骤三获得的驾驶员面部图像逐帧进行判断，确定是否为疲劳驾驶；

步骤五、缓存图像：将步骤三获得的图像进行缓存；

步骤六、神经网络Conv-LSTM：从步骤五缓存的图像序列中，选择连续的N帧图像，并将这N帧图像视为一个整体，用来表示一种行为；利用神经网络Conv-LSTM中的重复模块A提取该种行为的特征，并通过Softmax分类器判断是否为疲劳驾驶；

步骤七、告警：在判断为疲劳驾驶的情况下，发出告警信号。

2.如权利要求1所述的一种基于计算机视觉的疲劳驾驶检测方法，其特征在于：所述步骤三具体包括以下步骤

1)利用DenseNet网络的某一层L对输入图像进行特征提取；

2)利用首帧图像构建核相关位置滤波器(KCF)，第二帧以后的图像经过该位置滤波器后，能够得到目标的中心位置，即实现了目标的定位；c₀对应目标的中心位置；

3)对获得的目标进行N个尺度采样，得到N个尺度的目标样本；

4)对多个尺度的样本分别进行fHOG特征提取，得到N个fHOG特征；

5)利用首帧图像构建相关尺度滤波器(CF)，第二帧以后的图像经过该尺度滤波器后，能够得到目标的尺度，即实现了目标的尺度估计；

6)利用跟踪得到的目标位置和尺度，分别对位置滤波器和尺度滤波器进行模型更新，提高跟踪准确度和成功率；尺度模型更新策略如公式(11)、(12)所示：

η′为尺度滤波器的学习率。

3.如权利要求1或2所述的一种基于计算机视觉的疲劳驾驶检测方法，其特征在于：所述步骤四中的神经网络Fatigue-CNN是参照卷积神经网络模型VGG-19进行设计的，对输入面部图像进行疲劳驾驶行为判断；该神经网络Fatigue-CNN，首先在一般的图像数据集ImageNet上进行训练，然后在疲劳驾驶数据集YawDD上进行微调训练。

4.如权利要求3所述的一种基于计算机视觉的疲劳驾驶检测方法，其特征在于：所述步骤六中的神经网络Conv-LSTM是参照长短期记忆模型LSTM，同时结合卷积神经网络CNN进行设计的，对输入的图像序列进行疲劳驾驶行为判断。