[发明专利]一种基于时空特征识别的人脸疲劳驾驶检测方法及装置

权利要求书

1.一种基于时空特征识别的人脸疲劳驾驶检测方法，其特征在于，包括：

步骤S1：从视频数据库中提取脸部表情图像，对脸部表情图像进行预处理；

步骤S2：在预处理后的脸部表情图像集合中提取训练集数据；

步骤S3：将训练集数据用于AlexNet网络进行训练，其中，AlexNet网络对训练集数据中的各样本分别生成第一人脸描述符；

步骤S4：对由待识别视频提取脸部表情图像，对脸部表情图像进行预处理，并提取检测集数据，并将检测集数据输入AlexNet网络得到第一人脸描述符；

步骤S5：分别将由训练集数据和检测集数据中各样本得到的第一人脸描述符输入GhostVLAD层，得到单个固定的D维的第二人脸描述符；

步骤S6：对输出的第二人脸描述符进行标准化，基于检测集各样本得到的第二人脸描述符与各训练集中各样本得到的第二人脸描述符之间的欧氏距离输出其识别结果，其中识别包括是否发生打哈欠和是否发生眼睑下垂；

步骤S7：同一待识别视频中得到的各样本的识别结果，计算疲劳指标PERCLOS值、打哈欠频率和每分钟平均闭眼时长，并进一步按照加权求和得到疲劳驾驶指标以判断是否疲劳驾驶。

2.根据权利要求1所述的一种基于时空特征识别的人脸疲劳驾驶检测方法，其特征在于，所述步骤S1及步骤S4中对一段视频的预处理过程具体包括：

步骤S11：对提取视频的每一帧；

步骤S12：对各帧进行脸部检测，根据检测结果并裁剪出统一尺寸的脸部表情图像。

3.根据权利要求1所述的一种基于时空特征识别的人脸疲劳驾驶检测方法，其特征在于，所述步骤S2中对来自于任一视频的脸部表情图像提取训练集数据的过程具体包括：

步骤S21：将视频每秒包含的帧按照时序等分为设定份数N，

步骤S22：对每一份中各帧对应的脸部表情图像求均值得到每秒N幅均指图像，并将每四幅均指图像作为一组训练样本；

所述步骤S4中对来自于任一视频的脸部表情图像提取检测集数据的过程具体包括：

步骤S411：将视频每秒包含的帧按照时序等分为设定份数N，

步骤S412：对每一份中各帧对应的脸部表情图像求均值得到每秒N幅均指图像，并将每四幅均指图像作为一组检测样本。

4.根据权利要求3所述的一种基于时空特征识别的人脸疲劳驾驶检测方法，其特征在于，所述视频每秒含有24帧，所述N为4。

5.根据权利要求4所述的一种基于时空特征识别的人脸疲劳驾驶检测方法，其特征在于，所述AlexNet网络由五个卷积层和三个全连接层组成，在第一个第二个第五个卷积层后面均加入了最大池化层，一组训练样本经过前五个卷积层和最大池化层提取出2048维的人脸描述符，经过全连接层将维度降到128维，得到4个128维第一人脸描述符。

6.根据权利要求5所述的一种基于时空特征识别的人脸疲劳驾驶检测方法，其特征在于，所述步骤S5具体包括：

步骤S51：利用softmax函数得到第一人脸描述符x_i对应于K集群的软分配权重：

b_k＝-α||c_k||²

w_k＝2αc_k

其中：a_k(x_i)为第一人脸描述符x_i对应于K集群的软分配权重，b_k为第k个集群偏置的标量值，b_k'为集群偏置的标量值，w_k为聚类中心的向量表示，α为控制响应的衰弱和距离的大小的参数，c_k为第k个聚类中心，||·||²为向量模的平方；

步骤S52：将第一人脸描述符x_i对应于K集群的软分配权重与第一人脸描述符和K集群聚类中心的残差相乘得到第二人脸描述符：

其中：V为第二人脸描述符，x_i(j)为第i个人脸描述符的第j维，c_k(j)为第k个聚类中心的第j维。