[发明专利]基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法

说明书

本发明公开了基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法，网络架构由3D条件生成对抗网络和双向长短期记忆网络组成，3D条件生成对抗网络用于从短期视频剪辑中提取疲劳相关特征，其中3D生成网络由一个编解码U‑NET网络作为骨架网络，以疲劳相关标签作为条件，生成视频剪辑；3D判别网络将真实剪辑和合成剪辑作为输入，提取带有疲劳相关信息的短期时空特征表示。双向长短期记忆网络用于长期时空特征融合，捕捉帧间的上下文信息，并最终输出每帧的疲劳检测结果。对比目前现有的驾驶员疲劳检测方法，本发明泛化性强，识别准确率高，可用于监控视频下的实时驾驶员疲劳识别。发明在交通安全领域有重要的应用价值。

技术领域

本发明属于图像处理和模式识别领域，涉及基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法。

背景技术

疲劳驾驶是指驾驶员在睡眠不充足或困倦状态下仍然进行驾驶，通常表现为打哈欠，闭眼，垂头等状态。根据中国交通运输部的调查显示，全国每年有9万人死于疲劳驾驶，占所有交通事故死亡人数的6％。疲劳驾驶严重的影响了驾驶员的注意力，并时刻威胁着道路安全，因此实时的监控驾驶员是否处于疲劳状态对于道路安全和智能交通有重要的研究意义。

在早期疲劳检测系统中，疲劳检测方法通常也依赖于传感器的使用。例如使用生物传感器监测驾驶员的心率、视网膜信号、脑电波等。但是这些传感器需要放置在人体身上，从一定程度上也会分散驾驶员的注意力。近年来，

基于计算机视觉的自动驾驶员疲劳识别方法已成为研究热点。这类方法依赖于车载摄像头对驾驶员脸部的实时采集并通过脸部特征提取自动分析出疲劳程度。然而目前这类算法的识别准确率不高，其主要存在以下难点：

(1)疲劳驾驶是一种抽象的状态，不同的驾驶员对于疲劳的表现呈现较大的类内方差。通用的人工设计特征很难对于该状态进行表征。

(2)疲劳驾驶的判定易受到场景状态的影响，如光照变化，佩戴眼镜对眼部的遮挡等。

(3)疲劳驾驶依赖于长期时空表征。短期时空特征难以判定当前的疲劳状态，易导致高误报率。

发明内容

本发明的目的是为了解决上述问题，提供一种基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法。首先使用人脸检测跟踪算法获取人脸序列，设计了一种3D生成对抗网络获取短期时空特征，设计了一种双向长短期记忆网络进行时空特征融合，并最终输出每帧图像中的驾驶员疲劳程度。

为了达到上述目的，本发明采用的方法是：一种基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法，包括以下步骤：

步骤1：获取驾驶员疲劳检测数据集。本发明使用公开的NTHU-DDD疲劳检测数据集。该数据集包含360个训练视频(722223帧)和20个测试视频(173259帧)。所有的视频都由一个红外摄像头在室内模拟驾驶环境中录制。参与者在不同的环境下录制正常驾驶和疲劳驾驶这两种驾驶方式。场景环境包括：白天不佩戴眼镜、白天佩戴眼镜、白天佩戴墨镜、夜晚不佩戴眼镜、以及夜晚佩戴眼镜。录制的视频分辨率为640×480，帧率为30fps。数据集中的每个视频都有四个标注文件，记录视频中每帧图像的疲劳状态，包含眼部状态(正常、闭眼)，嘴部状态(正常、打哈欠、交谈)，头部状态(正常，不目视前方，头部下垂)。

在本发明中将该数据集的360个训练视频全部用于训练3D条件生成对抗网络和双向长短期记忆网络，其余的20个视频用于模型测试。

步骤2：设计人脸检测跟踪算法。在疲劳检测系统中，疲劳状态的判定完全取决于人脸区域，而背景区域在疲劳检测中是冗余的。在本发明中使用了检测和跟踪结合的方法获取视频中每帧的人脸区域。在视频的初始帧，使用MTCNN开源算法检测人脸，在后续帧，使用核相关滤波算法跟踪人脸区域。

步骤3：训练3D条件生成对抗网络，该网络模型由一个3D编解码生成网络和一个3D判别网络组成。