[发明专利]一种基于时空特征识别的人脸疲劳驾驶检测方法及装置

说明书

本发明涉及一种基于时空特征识别的人脸疲劳驾驶检测方法及装置，其中方法包括：步骤S1：从视频数据库中提取脸部表情图并预处理；步骤S2：提取训练集数据；步骤S3：将训练集数据用于AlexNet网络进行训练；步骤S4：对由待识别视频处理得到第一人脸描述符；步骤S5：将第一人脸描述符输入GhostVLAD层，得到单个固定的D维的第二人脸描述符；步骤S6：对输出的第二人脸描述符进行标准化，以及输出其识别结果；步骤S7：同一待识别视频中得到的各样本的识别结果，计算疲劳指标PERCLOS值、打哈欠频率和每分钟平均闭眼时长，并进一步按照加权求和得到疲劳驾驶指标以判断是否疲劳驾驶。与现有技术相比，本发明极大提高疲劳驾驶判断的准确率和可行性。

技术领域

本发明涉及基于图像处理的机器视觉领域，尤其是涉及一种基于时空特征识别的人脸疲劳驾驶检测方法及装置。

背景技术

随着经济水平日益提高，汽车的使用越来越广泛，然而在方便人们出行的同时，所产生的交通事故也越来越多，交通事故给国家造成巨大的经济损失和人员伤亡，而疲劳驾驶已作为交通事故的主要隐患，现有的疲劳驾驶检测技术对于疲劳驾驶的评判实际上是通过时间标准来界定，由于不同驾驶员的个人体质、精神状态等方面的差异，在时间标准内也会发生疲劳驾驶，驾驶人疲劳时，对其周围环境的感知能力、形势判断能力和对车辆的控制能力均会大幅度降低，目前车辆运营单位与监管部门缺乏对疲劳驾驶的有效监管手段，市场上的检测产品检测效果低，难以满足实时监管需求。我国的车载摄像头虽然有一定的发展，但是针对驾驶员的安全文明驾驶没有过多的研究，以前由于技术限制，如何判断驾驶员是否违规行驶缺乏实时高效的判断方法。基于深度学习的人脸和头部识别技术，能够对驾驶员的实时操作进行监督和判断，能够有效减少驾驶员因疲劳驾驶而造成交通事故。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于时空特征识别的人脸疲劳驾驶检测方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种基于时空特征识别的人脸疲劳驾驶检测方法，包括：

步骤S1：从视频数据库中提取脸部表情图像，对脸部表情图像进行预处理；

步骤S2：在预处理后的脸部表情图像集合中提取训练集数据；

步骤S3：将训练集数据用于AlexNet网络进行训练，其中，AlexNet网络对训练集数据中的各样本分别生成第一人脸描述符；

步骤S4：对由待识别视频提取脸部表情图像，对脸部表情图像进行预处理，并提取检测集数据，并将检测集数据输入AlexNet网络得到第一人脸描述符；

步骤S5：分别将由训练集数据和检测集数据中各样本得到的第一人脸描述符输入GhostVLAD层，得到单个固定的D维的第二人脸描述符；

步骤S6：对输出的第二人脸描述符进行标准化，基于检测集各样本得到的第二人脸描述符与各训练集中各样本得到的第二人脸描述符之间的欧氏距离输出其识别结果，其中识别包括是否发生打哈欠和是否发生眼睑下垂；

步骤S7：同一待识别视频中得到的各样本的识别结果，计算疲劳指标PERCLOS值、打哈欠频率和每分钟平均闭眼时长，并进一步按照加权求和得到疲劳驾驶指标以判断是否疲劳驾驶。

所述步骤S1及步骤S4中对一段视频的预处理过程具体包括：

步骤S11：对提取视频的每一帧；

步骤S12：对各帧进行脸部检测，根据检测结果并裁剪出统一尺寸的脸部表情图像。

所述步骤S2中对来自于任一视频的脸部表情图像提取训练集数据的过程具体包括：

步骤S21：将视频每秒包含的帧按照时序等分为设定份数N，