[发明专利]一种基于生成式对抗网络的人脸表情识别方法

说明书

一种基于生成式对抗网络的人脸表情识别方法，涉及计算机视觉技术。首先设计一个基于生成式对抗网络的人脸表情生成网络并对其预训练，该网络由一个生成器和两个判别器构成，能够生成指定表情的随机身份的人脸图；然后设计一个人脸表情识别网络，该网络在训练时同时接收训练集中的真实人脸表情图以及由人脸表情生成网络产生的随机人脸表情图，使用一种类内损失来减少真实样本和生成样本之间的人脸表情特征差异性；同时还使用一种真实样本导向的梯度更新方法来促进生成样本的特征学习；最后根据训练好的人脸表情识别网络模型，从模型最后的柔性最大分类层得到最终的人脸表情识别结果。

技术领域

本发明涉及计算机视觉技术，具体涉及一种基于生成式对抗网络的人脸表情识别方法。

背景技术

在过去的几年时间里，人脸表情自动识别已经在计算机视觉领域广泛地吸引了许多专家的注意力。人脸表情自动识别技术在许多应用场景上具有重要的显示意义，如社交机器人、医疗保健和人机交互等。尽管这些年来人脸表情自动识别技术已经取得了不错的进展，但是它仍然面对着巨大的挑战，尤其在复杂的环境下，如不同的姿势、光照和遮挡等，人脸表情自动识别的识别率还有待提高。

现有的人脸表情识别技术可以分为两大类：基于手工设计特征的方法和基于卷积神经网络特征的方法。Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Feature disentangling machine-a novel approach of feature selection anddisentangling in facial expression analysis”,in European Conference onComputer Vision(ECCV),2014,pp.151–166.)提出了特征分解机的方法，该方法将结合了多任务深度学习和稀疏支持向量机，首先对输入图像提取手工设计的特征，然后将所提取的特征分为通用特征和特定特征两大类，通用特征被用来识别所有的表情，而特定特征只用来识别一种特定的表情。这些基于手工设计特征的方法将特征学习和分类器训练分开进行，可能会导致表情识别的次优性能。目前，基于卷积神经网络的计算机视觉技术在计算机视觉领域已经取得了重大的成功。许多人脸表情识别的工作开始采用深度学习模型来预测人脸的表情。Jung等人(H.Jung,S.Lee,J.Yim,S.Park,“Joint fine-tuning in deepneural networks for facial expression recognition”,in:IEEE InternationalConference on Computer Vision(ICCV),2015,pp.2983–2991.)训练了一个深度表观模型和一个深度几何模型来分别学习人脸的表观特征和几何特征，最后将两个模型联合联合训练来预测人脸的表情。基于卷积神经网络特征的方法做到了特征提取与分类器训练相结合的端到端训练，可以很大地提升识别性能。然而，卷积神经网络模型依赖于大量的有标签数据，对人脸表情识别技术来说，目前公开的数据集的图片数量还远远不够。最近，生成式对抗网络被广泛地应用在人脸合成领域，并且在多姿态人脸合成和人脸属性迁移等任务上取得了不错的效果。生成式对抗网络可以生成各种不同表情、姿势的人脸图片，这些图片可以用来扩充数据集，从而缓解卷积神经网络中训练数据不足的问题。然而，直接把这些生成的图片用作训练数据时又会带来新的问题，比如如何产生高质量的人脸图片，以及如何保证这些图片在训练卷积神经网络是可以带来正面的影响。这些问题如果没有处理好，很可能不但不会提高模型的性能，而且会削弱模型的特征表示能力。

发明内容

本发明的目的在于提供一种基于生成式对抗网络的人脸表情识别方法。

本发明包括以下步骤：

1)准备训练样本集(P_i,y_i)，其中N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；P_i表示第i个训练样本对应的固定大小的图像；y_i表示第i个训练样本的类别标签：表示第i个样本属于第j类表情；