[发明专利]一种基于改进深度卷积生成对抗网络的人脸表情识别方法

权利要求书

1.一种基于改进深度卷积生成对抗网络的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1、获取人脸图像数据集并进行预处理：

获取真实人脸图像数据集并分别裁剪成尺寸为M×M的人脸图像，再对裁剪后的人脸图像随机添加的掩码，得到预处理后的人脸图像数据集记为X＝{x₁,x₂,...,x_i,...,x_N}，其中，x_i表示第i张人脸图像，i＝1,2,...,N，N为人脸图像数据集中人脸图像的总数；

步骤2、构建生成网络G和双判别网络组成的改进深度卷积生成对抗网络：

步骤2.1、构建包括编码器和解码器组成的生成网络G；

所述编码器包括m层卷积层，所述解码器包括m层反卷积层；

设置所有卷积层的步长为2c、反卷积层的步长设为c；

设置卷积层的激活函数采用LeakyRelu函数，反卷积层的激活函数采用Relu函数；

在所述编码器的第1层卷积层与所述解码器的第m层反卷积层之间加入跳跃连接；在所述编码器的第2层卷积层与所述解码器的第m-1层反卷积层之间加入跳跃连接；依次类推，在所述编码器的第m层卷积层与所述解码器的第1层反卷积层之间加入跳跃连接；且每层卷积层和每层反卷积层后均设置有Padding操作；

所述第i张人脸图像x_i经过所述生成网络G的编码和解码处理后得到维度为M×M的合成图像s_i；

步骤2.2、建立如式(1)所示的重构损失L_rec：

L_rec＝||s_i-x_i|| (1)

步骤2.3、采用如式(2)所示的最小二乘损失函数来建立生成网络G的损失函数L(G)：

式(2)中，E表示数学期望，x_i～px_i表示第i张人脸图像x_i服从数据集中的人脸图像分布；D(s_i)表示双判别网络对合成图像s_i的预测值；

步骤2.4、利用式(3)构建生成网络G的总损失L_s(G)：

L_s(G)＝L_rec+L(G) (3)

步骤2.5、构建包括局部判别网络D_loc和全局判别网络D_glo的双判别网络：

所述局部判别网络D_loc是由w层卷积神经网络构成，且每个卷积层后采用Leaky Relu函数作为激活函数；

将所述维度为M×M的合成图像s_i中维度为的局部人脸图像输入所述局部判别网络D_loc中，并经过卷积操作后得到维度为1×1×h的特征向量；

所述全局判别网络D_glo是由w+1层卷积神经网络构成，且每个卷积层后采用LeakyRelu函数作为激活函数；

将所述维度为M×M的合成图像s_i输入所述全局判别网络D_glo中，并经过卷积操作后得到维度为1×1×h的特征向量；

调用Concat函数和Reshape函数将所述局部判别网络D_loc输出的特征向量和所述全局判别网络D_glo输出的特征向量进行连接并调整成维度为1×2h的特征向量，再经过一个全连接层处理后得到一个输出值，然后使用sigmod函数将所述输出值映射到[0,1]范围内，从而得到映射后的值，用于判断所述合成图像s_i的真假；

步骤2.6、采用如式(4)所示的最小二乘损失函数来建立双判别网络的损失函数L(D)：

步骤2.7、利用式(5)构建双判别网络的总损失L_s(D)：

L_s(D)＝L(D_loc)+L(D_glo) (5)

式(5)中，L(D_loc)表示局部判别网络D_loc的损失函数，L(D_glo)表示全局判别网络D_glo的损失函数；

步骤2.8、利用式(6)构建全局目标函数L_all：

L_all＝L_s(G)+L_s(D) (6)

步骤2.9、基于所述全局目标函数L_all，采用预处理后的人脸图像数据集X对所述改进深度卷积生成对抗网络进行训练，直到双判别网络无法判断输入图像的真假时，得到最优网络模型，并输出合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}；其中，s′_i表示第i张人脸图像x_i输出的最优合成图像；

步骤3、构建表情分类网络，并使用带表情标签的人脸表情数据集进行训练：

步骤3.1、获取带表情标签的人脸表情图像数据集并分别裁剪成尺寸M×M的表情图像，得到裁剪后的表情数据集记为Y＝{y₁,y₂,...,y_j,...,y_T}，其中，y_j表示第j张裁剪后的表情图像，j＝1,2,...,T，T为裁剪后的数据集中图像的总数；

步骤3.2、构建由K个卷积层和v个全连接层构成的表情分类网络；

其中，K个卷积层中的前k个卷积层后设置有平均池化层，后K-k个卷积层后设置最大池化层；各个全连接层之间设置有dropout层；

将维度为M×M的第j张裁剪后的表情图像y_j输入所述表情分类网络中并输出F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}；其中，R_j,t表示第j张裁剪后的表情图像y_j输出的第t个预测值；

将F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}输入Softmax分类器中转换为对应的概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,F}；其中，Q_j,t表示第t个预测值R_j,t的概率分布；

选取概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,F}中最大值所对应的表情标签作为第j张裁剪后的表情图像y_j的人脸表情识别结果；

步骤4、将改进深度卷积生成对抗网络输出的合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}与预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}进行融合后作为训练后的表情分类网络的输入，并由所述训练后的表情分类网络输出分类结果，并将分类结果作为预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}的人脸表情识别结果。