[发明专利]一种基于对抗学习的人脸图像合成方法和装置

说明书

本发明涉及一种基于对抗学习的人脸图像合成方法和装置。该方法提供一种新型的生成对抗网络(FC‑GAN)，旨在从遮挡的人脸图像合成标准光照下的正面人脸图像。FC‑GAN使用一个编码器‑解码器的卷积神经网络结构作为生成器，同时引入了两个判别器：一个是全局判别器，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；另一个是局部判别器，用于区分人脸中遮挡区域的真实性。此外引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。通过对比合成人脸图像和真实人脸图像的语义标签，反传梯度给生成器调整合成人脸图像的五官。基准数据集Multi‑PIE上的实验结果表明，FC‑GAN的性能优于现有的大多数方法。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于对抗学习的人脸图像合成方法和装置。

背景技术

人脸识别是计算机视觉领域中一个重要的研究主题。由于其使用方便、准确性高、且具有非侵入式的特点，因此在安防监控、金融服务、手机终端和实体商业等诸多领域展现出巨大的应用潜力。近十年中，深度学习在人脸识别方面取得了巨大的成功，基于深度神经网络的人脸识别系统的性能已经显著地超过了基于手工设计特征的人脸识别系统。许多研究人脸识别技术的初创公司如雨后春笋一般涌现出来，例如商汤科技、旷视科技、云从科技和依图科技等。

人脸识别系统的性能依赖于人脸的特征表达，而人脸的特征表达与人脸表象(Appearance)的变化有直接关系，这些变化主要包括角度、光照和表情的变化。然而，在实际场景中获取的人脸图像往往对应着不同的视角和光照条件，这大大增加了人脸识别的难度。

对于理想场景(如实验室场景)中的正面无遮挡人脸图像，文献中的人脸识别方法已经取得了较高的识别精度。但是，当人脸存在视角变化并且部分人脸被遮挡时，已有人脸识别方法的性能将会显著下降。带遮挡的侧面人脸图像经常出现在真实场景中，影响人脸识别系统的性能。已有文献分别对角度变化和遮挡问题提出解决方案，但是目前缺乏一个解决方案同时处理这两个问题。一个替代的解决方案是：首先利用人脸转正方法旋转人脸，然后利用图像补全方法去除人脸遮挡。但是，这个方案容易生成模糊的和有瑕疵的人脸图像。

联合分解和融合的生成式对抗网络DF-GAN(Disentangling and FusingGenerative Adversarial Network)将人脸补全和人脸破坏看作完整人脸图像和遮挡物的分解和融合过程。该方法构造了三个分别对应于遮挡人脸图像，完整人脸图像和结构化遮挡物的域，并且将分解和融合过程看作是三个域之间的相互转换。DF-GAN建立了分解和融合网络来学习不成对数据的转换，同时可以通过修改隐变量来模拟结构化的遮挡。该方法将分解和融合过程、对抗学习统一为双重学习框架，并且在Meshface验证问题上评估了提出的方法，但该方法不能同时处理视角变化和遮挡。

DR-GAN(Disentangled Representation learning-Generative AdversarialNetwork)使用自动编码器作为生成网络，并且将目标角度向量串联到自动编码器的最中间一层。提出的判别器不仅区分输入图像的真假，还对输出图像的角度进行分类。不同于DR-GAN，本发明不仅设计了全局判别器，还引入了局部判别器对遮挡部分进行恢复。DR-GAN只能解决人脸视角变化问题，并不能解决遮挡问题。

TP-GAN(Two-Pathway Generative Adversarial Network)结合了多个损失函数来合成最终的正面人脸图像。他们提出两个生成器来合成人脸图像：一个是用来提取整幅人脸图像特征的全局生成器；另一个是用来提取包含重要人脸特征点的图像块内特征的局部的生成器。他们还增加了保持身份不变的损失函数使得生成人脸图像的高层特征与真值人脸图像的高层特征尽可能接近。TP-GAN只能解决人脸视角变化问题，并不能解决遮挡问题。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于对抗学习的人脸图像合成方法和装置，可以同时处理人脸的视角变化和遮挡。