[发明专利]一种基于预训练StyleGAN的人脸表情合成方法及系统

权利要求书

1.一种基于预训练StyleGAN的人脸表情合成方法，其特征在于，包括：

获取新人脸图像；

在预训练的StyleGAN中，通过GAN逆映射得到表情图像的潜在代码；其中，所述GAN逆映射是指通过将图像空间映射到潜在空间来逆向生成的过程，以找到恢复原图像的潜在代码；

通过将StyleGAN生成的新人脸图像的潜在代码中的身份信息融合到表情图像的潜在代码中，得到具有新身份的合成表情图像的潜在代码，进而得到具有新身份的合成表情图像。

2.根据权利要求1所述的基于预训练StyleGAN的人脸表情合成方法，其特征在于，所述StyleGAN的预训练包括：所述StyleGAN在FFHQ数据集上进行预训练，其中，所述StyleGAN的生成器包括映射网络和合成网络。

3.根据权利要求2所述的基于预训练StyleGAN的人脸表情合成方法，其特征在于，所述StyleGAN的生成器包括两个潜在空间：输入潜在空间和中间潜在空间；将输入潜在空间预定义为正态分布，在中间潜在空间中，中间潜在代码的不同层分别控制合成图像的不同属性。

4.根据权利要求3所述的基于预训练StyleGAN的人脸表情合成方法，其特征在于，所述合成图像的不同属性包括身份、表情和颜色。

5.根据权利要求1所述的基于预训练StyleGAN的人脸表情合成方法，其特征在于，所述得到具有新身份的合成表情图像的潜在代码的过程包括：采用在FFHQ数据集上预训练的域引导编码器，生成具有新身份的合成表情图像的潜在代码的初始化；其中，域引导编码器被设计用于将FFHQ数据集的图像逆映射到表情图像在中间潜在空间，为w₂生成具有新身份的合成表情图像的潜在代码的初始化。

6.根据权利要求1所述的基于预训练StyleGAN的人脸表情合成方法，其特征在于，所述通过将StyleGAN生成的新人脸图像的潜在代码中的身份信息融合到表情图像的潜在代码中具体过程包括：所述预训练的StyleGAN包括身份层、表情层和颜色层；通过融合新人脸图像的潜在代码中的身份层、具有新身份的合成表情图像的潜在代码中的表情层和具有新身份的合成表情图像的潜在代码中的颜色层，得到融合的中间潜在代码。

7.根据权利要求6所述的基于预训练StyleGAN的人脸表情合成方法，其特征在于，所述颜色层控制合成的表情图像中的颜色信息，用于保证合成图像和表情图像拥有相似的背景颜色和光照信息。

8.一种基于预训练StyleGAN的人脸表情合成系统，其特征在于，包括：

数据获取模块，其被配置为：获取新人脸图像；

逆映射模块，其被配置为：在预训练的StyleGAN中，通过GAN逆映射得到表情图像的潜在代码；其中，所述GAN逆映射是指通过将图像空间映射到潜在空间来逆向生成的过程，以找到恢复原图像的潜在代码；

融合模块，其被配置为：通过将StyleGAN生成的新人脸图像的潜在代码中的身份信息融合到表情图像的潜在代码中，得到具有新身份的合成表情图像的潜在代码，进而得到具有新身份的合成表情图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于预训练StyleGAN的人脸表情合成方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于预训练StyleGAN的人脸表情合成方法中的步骤。