[发明专利]一种基于预训练StyleGAN的人脸表情合成方法及系统

说明书

本发明属于图像处理领域，提供了一种基于预训练StyleGAN的人脸表情合成方法及系统。该方法包括，获取新人脸图像；在预训练的StyleGAN中，通过GAN逆映射得到表情图像的潜在代码；其中，所述GAN逆映射是指通过将图像空间映射到潜在空间来逆向生成的过程，以找到恢复原图像的潜在代码；通过将StyleGAN生成的新人脸图像的潜在代码中的身份信息融合到表情图像的潜在代码中，得到具有新身份的合成表情图像的潜在代码，进而得到具有新身份的合成表情图像。

技术领域

本发明属于图像处理领域，尤其涉及一种基于预训练StyleGAN的人脸表情合成方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，人脸表情识别在人机交互、疲劳驾驶监测和医学治疗等领域引起广泛的关注。然而，由于人脸的外观变化十分容易受到光照、遮挡以及多种姿态等因素的影响，自然环境下的人脸表情识别仍是一个巨大的挑战。

传统的人脸表情识别方法使用手工设计的特征，如局部二值模式、方向梯度直方图和尺度不变特征变换等，这些特征难以克服较大的人脸外观变化带来的干扰。目前，深度学习方法在许多计算机视觉任务中取得了十分优秀的成果，它的成功主要得益于深度神经网络的强大的特征表示能力和可利用的大规模训练数据。然而，现有可利用的表情数据集通常只包含少量的训练数据，如表1所示。虽然互联网上有大量未标注的人脸图像，并且许多大规模人脸数据集都已被收集和整理，但是手工标注这些人脸图像的表情十分费时费力又昂贵。

表1表情数据集和人脸数据集

生成对抗网络(Generative Adversarial Network,GAN)因其可以生成逼真的图像而备受关注。研究学者们提出了许多GAN的相关变体并将其应用到了图像翻译和人脸合成等领域。目前，一些研究学者试图利用GAN合成表情图像来扩充表情数据集，以提高表情识别性能。StarGAN将不同的表情视为不同的域，并且仅使用单个模型就可执行多个域的图像到图像的转换。ExprGAN可以编辑改变人脸面部的表情强度。除了生成器和判别器之外，ExprGAN设计了一个表情控制器来学习表情代码，表情代码可以从低到高调整人脸的表情强度。Zhang等人提出了一个深度模型，该模型可以在不改变人脸信息的情况下交换两张人脸图像的表情。

然而，这些方法考虑的总是在保持人脸身份信息不变的情况下改变表情数据集内已知人脸的表情信息。因此，表情数据集内参与者个体的数量直接决定了合成图像的身份多样性，这些方法无法利用来自互联网或人脸数据集图像的身份信息来扩充表情数据集。事实上，身份多样性与表情数据集的图像多样性直接相关，在深度学习方法中，较高的图像多样性可以帮助获得更好的人脸表情识别性能。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于预训练StyleGAN的人脸表情合成方法及系统，其通过设计一种表情合成模型，该模型利用在大规模人脸数据集上预训练的基于风格的生成对抗网络(Style-based Generative AdversarialNetwork,StyleGAN)，将新人脸图像的身份信息融合到小规模表情数据集的表情图像中，以实现利用这些未标注的人脸图像扩充表情数据集。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于预训练StyleGAN的人脸表情合成方法。

一种基于预训练StyleGAN的人脸表情合成方法，包括：

获取新人脸图像；

在预训练的StyleGAN中，通过GAN逆映射得到表情图像的潜在代码；其中，所述GAN逆映射是指通过将图像空间映射到潜在空间来逆向生成的过程，以找到恢复原图像的潜在代码；