[发明专利]一种基于ViT和StarGAN的驾驶员表情识别方法

说明书

本发明提供一种基于ViT和StarGAN的驾驶员表情识别方法，该方法基于面部图像的非接触式驾驶员情绪识别方法，通过基于haar特性的人脸定位和裁剪使得驾驶员面部图像尺寸减小、特征增强，然后采用一种新的数据增强策略用于生成驾驶员面部表情图像，即搭建并训练StarGAN网络获得一个驾驶员面部表情扩充数据集；本发明不同于传统的基于CNN网络框架的表情识别方法，构建了一个基于多头自注意力机制的ViT表情识别网络，该方法一方面能够使得网络训练的注意力逐渐集中在重要的表情特征上，另一方面能够更多地关注表情图像的长距离信息；同时，缓解了数据集数据不足的问题，达到了更高的识别准确率。

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于ViT和StarGAN的驾驶员表情识别方法。

背景技术

面部表情是人类传达情感状态和意图的最有效途径之一。在迅速发展的智能汽车和辅助驾驶领域，驾驶员的驾驶状态对交通安全、智能驾驶起着至关重要的作用。而传统的通过测量生理参数的情绪检测方法在驾驶场景下存在一定的局限性，因此基于面部图像的非接触式驾驶员情绪识别具有非常重要的研究意义和应用价值。

驾驶员面部表情识别是一种基于面部生理反应的驾驶员状态识别方法，通过车内摄像头拍摄，获取驾驶员在驾驶过程中各种场景下的面部表情图像，同时利用计算机在有限的时间内进行识别分析，如今计算机视觉在驾驶员面部表情识别研究中逐渐成为主导。近年来，深度神经网络(deep neural networks，DNNs)成为计算机视觉领域的通用方法，由于卷积神经网络(CNN)良好的特征提取和识别能力，越来越多地被用于解决面部表情识别问题，在常规的实验室场景下也实现了相当不错的识别效果。然而针对真实的驾驶场景，因为驾驶员头部姿态大，光照变化大，驾驶员面部表情数据集缺乏等问题，基于图像的驾驶员面部表情识别依然无法实现很好的效果。

发明内容

本发明提供一种基于ViT和StarGAN的驾驶员表情识别方法，该方法有效缓解驾驶员面部表情数据集匮乏的问题并提高识别精度。

为了达到上述技术效果，本发明的技术方案如下：

一种基于ViT和StarGAN的驾驶员表情识别方法，包括以下步骤：

S1：利用驾驶员面部表情数据集中所有的人脸表情图像，采用Viola-Jones 人脸检测算法检测面部区域并进行裁剪和背景去除，然后搭建和训练StarGAN 网络用于扩充驾驶员面部表情数据集，随后对扩充数据进行归一化处理，得到一个驾驶员面部表情扩充数据集；

S2：构建基于ViT的驾驶员面部表情识别网络；

S3：利用步骤S1得到的面部表情扩充数据集训练步骤S2构建的ViT驾驶员面部表情识别网络；

S4：将步骤S1人脸定位处理后的且未作为网络训练的KMU-FED数据集子集送入步骤S3训练过程中最后20个迭代循环对应的网络模型中，得到每个图像的识别标签。

进一步地，所述步骤S1中，训练StarGAN网络具体包括以下步骤：

S11：将人脸定位裁剪后的图像进行缩放至分辨率为96×96，并进行噪点处理；

S12：随机将图片x及其标签f输入到生成器G中，得到生成的图像结果 G(x,f)，组成一系列带标签特征的假图并混合真假图像；

S13：将真假混合图像集中的随机图片x输入判别器D及其辅助分类器中，得到判别真假图的判别结果D_src(x)和鉴别图片表情标签的判别结果D_cls(x)；

S14：为使得生成器G的生成图与真值集差距不断减小，且加快训练的同时防止训练过程中产生过拟合现象，定义生成器G和判别器D之间关于真假的对抗误差函数表示如下：