[发明专利]基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法

摘要

本发明公开了基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法，网络架构由3D条件生成对抗网络和双向长短期记忆网络组成，3D条件生成对抗网络用于从短期视频剪辑中提取疲劳相关特征，其中3D生成网络由一个编解码U‑NET网络作为骨架网络，以疲劳相关标签作为条件，生成视频剪辑；3D判别网络将真实剪辑和合成剪辑作为输入，提取带有疲劳相关信息的短期时空特征表示。双向长短期记忆网络用于长期时空特征融合，捕捉帧间的上下文信息，并最终输出每帧的疲劳检测结果。对比目前现有的驾驶员疲劳检测方法，本发明泛化性强，识别准确率高，可用于监控视频下的实时驾驶员疲劳识别。发明在交通安全领域有重要的应用价值。

主权项

1.基于生成对抗和长短期记忆网络的疲劳检测方法，其特征在于，包括下列步骤：/n步骤1：获取驾驶员疲劳检测数据集：使用公开的NTHU-DDD疲劳检测数据集，该数据集包含360个训练视频和20个测试视频所有的视频都由一个红外摄像头在室内模拟驾驶环境中录制，参与者在不同的环境下录制正常驾驶和疲劳驾驶这两种驾驶方式，场景环境包括：白天不佩戴眼镜、白天佩戴眼镜、白天佩戴墨镜、夜晚不佩戴眼镜、以及夜晚佩戴眼镜，录制的视频分辨率为640×480，帧率为30fps；数据集中的每个视频都有四个标注文件，记录视频中每帧图像的疲劳状态，包含眼部状态：正常、闭眼，嘴部状态：正常、打哈欠、交谈，头部状态：正常，不目视前方，头部下垂；将该数据集的360个训练视频全部用于训练3D条件生成对抗网络和双向长短期记忆网络，其余的20个视频用于模型测试；/n步骤2：设计人脸检测跟踪算法：使用检测和跟踪结合的方法获取视频中每帧的人脸区域，在视频的初始帧，使用MTCNN开源算法检测人脸，在后续帧，使用核相关滤波算法跟踪人脸区域；/n步骤3：训练3D条件生成对抗网络，该网络模型由一个3D编解码生成网络和一个3D判别网络组成，具体步骤如下：/n步骤301：3D编解码生成网络以U-NET网络作为骨架网络，其输入为连续相邻T帧的三通道人脸序列，尺寸为3×T×64×64，通过3D编解码，其输出为合成的人脸序列，尺寸与输入的真实人脸序列相同，在编码子网络中，3×3×3大小的卷积核被应用于多个3D卷积层，学习全局时空特征表示，全局平均池化层将3D卷积特征图映射为512维特征向量，编码子网络的运算过程具体可表示为：/nX＝G