[发明专利]基于R2U-Net的DR-GAN多姿态人脸识别算法

权利要求书

1.一种基于基于R2U-Net的DR-GAN多姿态人脸识别算法，其特征在于：使用生成对抗性损失函数提高大角度人脸图像的正面化人脸合成图像的质量，同时在判别器中依据人脸身份信息进行分类；

生成对抗网络(Generative Adversarial Network，GAN)由一个编码器G和一个解码器D组成，它们在一个极大极小的博弈中竞争，其中D的目的是区分真实图像x和合成图像G(z)，G的目的是合成足以混淆真实图像x的生成图像G(z)，D和G在对抗过程中的对抗函数为：

当合成样本的分布p_g和训练样本的分布p_d相同时，这种极大极小对策具有全局最优解；实际上，G最好最大化log(D(G(z)))，而不是最小化log(1-D(G(z)))，因此在训练时，G和D交替训练时遵循的原则如下：

DR-GAN通过编码器-解码器生成器学习给定任意轮廓面的身份特征表示；在这个过程中，我们考虑编码器的输出和解码器的输入作为姿态不变表示，解码器输入用于通过输入对象的面部图像合成单个正面视图；此外，为了解释姿势和外观的变化，我们在生成器的解码器中使用类别标签(身份)和姿势变化来解开这些变化；因此，该框架的鉴别器模型除了确定输入图像是假图像还是真图像外，还负责预测姿势和身份。

2.一种基于基于R2U-Net的DR-GAN多姿态人脸识别算法，其特征在于：特征学习能力的提升，其模型的结构如图1所示；

假设人脸图片X，标签为y＝{y^d，y^p}，其中y^d表示身份标签、y^p表示姿态标签；GAN网络训练过程的任务有两个：1)学习人脸姿态不变性表示，2)合成与真实人脸具有相同身份标签y^p但有不同的姿态代码c控制的人脸图像；本算法的的训练策略中的输入是原始人脸图像X、姿态代码c和噪声z；

本文中的D包括两个方向的分类器：D＝[D^d，D^p]，是身份分类器，N^d是训练集中的总的类数，附加维数表示伪类；是姿态分类器，N^p是总的姿态数；训练过程，给出真实人脸图像X，D负责估计人脸的身份和姿态，同时G负责合成人脸图像D在判别和x的依据公式为：

和是D^d和D^p中的第i个元素，公式中的第一项是最大化真实人脸x被判断出正确身份和姿态的可能性，第二项是最大化合成人脸被判断为伪类的可能性；

同时，G包含编码器G_enc和解码器G_dec，G_enc学习原始人脸图像中的身份信息特征，G_dec负责合成带有身份信息y^d、姿态代码c和噪声z的人脸图片，其中是建模噪声；是一个one-hot向量；目标姿态y^t＝1；G的目的是使得D将分到除去x的其他的类中，公式表示为：

G和D在交替训练中互相提高，当D在区分真假图像和分类姿态中的能力越来越强，G会提高合成的人脸图像的身份信息和姿态信息的质量；这种生成对抗有三个好处：第一，学习到的特征保留更多的身份信息；第二，D中的姿态分类引导的姿态旋转会更加准确；第三，通过向G_dec输入姿态信息，并于D判断出来的姿态信息的对抗，使得G_enc会编码更多的身份特征，更少的姿态特征。

3.一种基于基于R2U-Net的DR-GAN多姿态人脸识别算法，其特征在于：将R2AttU-Net网络应用在编码-解码器中，并在判别器中添加RCL层，利用GAN训练过程中同时捕捉上下文相关性和局部一致性来实现真实感人脸正面化，突出人脸区域的局部特征；

单人脸DR-GAN的网络结构如图5所示，编码器和解码器的整体结构使用R2AttU-Net模型，在每个下采样层和上采样层添加RCL层，同时在每个上采样层加入一个注意力门，每个卷积层添加BN层和ReLu层；D通过添加带有softmax损失函数的全连接层，优化公式4；G包括G_enc和G_dec，两者通过表征学习桥接；f(x)、c和z三者结合，作为G_dec的输入，将(320+N^p+N^z)维的向量转化为图像输出大小与x相同；当被送到D中，通过正反馈机制优化G，最大化公式5。