[发明专利]一种基于生成式对抗网络的人脸表情识别方法

权利要求书

1.一种基于生成式对抗网络的人脸表情识别方法，其特征在于包括以下步骤：

1)准备训练样本集i＝1,…,N，其中N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；P_i表示第i个训练样本对应的固定大小的图像；y_i表示第i个训练样本的类别标签：且表示第i个样本属于第j类表情；

2)设计一个基于生成式对抗网络的人脸表情生成网络并进行预训练，所述人脸表情生成网络由一个生成器和两个判别器构成，其中，在训练时，一个判别器D_img用于与生成器对抗优化；另一个判别器D_z用于与生成器的编码器对抗优化，使得输入图片经过编码器编码后的特征映射到一个均匀分布上；

所述一个判别器D_img由一些卷积层构成，输入为真实样本或者生成器生成的样本，末端有两个输出，其中一个输出用来表示真实样本或生成样本的分布，另一个输出用来表示输入样本的类别概率；

所述另一个判别器D_z由一些全连接层构成，输入为64维的人脸表情特征向量或者在均匀分布上的随机采样，输出为一个概率值，表示输入是否符合均匀分布的概率；

3)设计一个人脸表情识别网络；

4)将预训练的人脸表情生成网络与人脸表情识别网络联合训练，在训练时，人脸表情识别网络接收两种样本作为输入：(1)训练样本集中的人脸表情图；(2)由人脸表情生成网络生成的随机人脸表情图，使用一种类内损失减少真实样本与生成样本之间的人脸表情特征差异性；

5)利用训练好的人脸表情识别模型进行人脸表情识别。

2.如权利要求1所述一种基于生成式对抗网络的人脸表情识别方法，其特征在于在步骤2)中，所述设计一个基于生成式对抗网络的人脸表情生成网络并进行预训练包括以下子步骤：

(1)网络的生成器G由一个编码器G_enc和一个解码器G_dec组成，编码器由5个卷积层和一个全连接层构成，编码器将128×128大小的人脸表情图编码成64维的特征向量，表示如下：

g(x)＝G_enc(x)， 公式1

其中，x表示输入的训练样本，g(x)表示人脸表情特征向量；解码器由一些转置卷积层构成，解码器接收一个64维特征向量以及一个类别向量，维度与表情类别数一致，输出一张在大小、通道上与编码器的输入一致的人脸表情图，表示如下：

其中，表示生成器生成的样本，y'表示生成样本的类别向量，[·]表示向量的连接操作；

(2)网络的一个判别器D_img由一些卷积层构成，输入为真实样本或者生成器生成的样本，末端有两个输出，其中一个输出用来表示真实样本或生成样本的分布，计算图像对抗损失：

公式3

公式4

其中，表示真实样本的分布，表示生成样本的分布，表示生成器的图像对抗损失，表示判别器D_img的图像对抗损失，表示数学期望，下标τ表示输给网络的真实数据，判别器D_img的另一个输出用来表示输入样本的类别概率，计算分类损失：

其中，表示对生成样本正确分类的概率，y表示真实样本的类别标签，表示对真实样本x正确分类的概率，表示生成器的分类损失，表示判别器D_img的分类损失；

(3)网络的另一个判别器D_z由一些全连接层构成，输入为64维的人脸表情特征向量或者在均匀分布上的随机采样，输出为一个概率值，表示输入是否符合均匀分布的概率，计算向量对抗损失：

其中，z表示在均匀分布上的随机采样，表示生成器的向量对抗损失，表示判别器D_z的向量对抗损失；

(4)对生成器生成的图片，计算重构损失：

其中，||·||₁表示1范数，x^rec表示输入原图和原图的类别向量得到的重构图，计算如下：

x^rec＝G_dec([g(x),y]) 公式10

计算身份保持损失：

其中，F_id表示人脸身份特征提取器，采用Light CNN-29模型；

(5)生成器G的总损失为：

判别器D_img的总损失为：

判别器D_z的总损失为：

其中，λ₁，λ₂是用于调整损失大小的系数，整个网络通过WGAN-GP优化。