[发明专利]深度伪造换脸图像生成方法、系统、设备及存储介质

说明书

本发明属于图像处理领域，公开了一种深度伪造换脸图像生成方法、系统、设备及存储介质，包括：获取源人脸图像和目标人脸图像；调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；以及目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；调用预设的潜向量选择器得到初步交换潜向量；调用预设的人脸属性稳定器得到交换潜向量；调用预设的人脸生成器得到初步换脸图像；最后根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合得到换脸图像。有效提升了换脸图像的图像质量，缩小与真实图像之间的差距。

技术领域

本发明属于图像处理领域，涉及一种深度伪造换脸图像生成方法、系统、设备及存储介质。

背景技术

随着深度学习技术的发展，深度伪造换脸图像的生成技术难度在不断降低，生成的深度伪造换脸图像视频质量也在不断提高。换脸就是在保持目标人脸图像面部属性例如表情、姿态、肤色以及光线等不变的情况下将源人脸图像的身份信息无缝迁移到目标人脸图像中并产生以假乱真的结果。换脸的技术路线也可分为基于特定目标换脸方式和非特定目标换脸方式，前者的换脸模型针对某一对人物通过大量图像视频数据作为支撑来进行模型训练，但通用型较差。后者的换脸模型在完成训练后可应用于不同人物之间的换脸。

目前，通用的换脸方式是将目标人脸图像和源人脸图像映射到隐空间中得到对应的潜向量并进行部分交换，将交换后的潜向量输入到预训练的StyleGAN生成器中实现非特定目标的换脸。该技术能够实现换脸任务，但是未考虑潜向量的选择问题出现部分人脸属性错误交换的等现象。另一方面由于StyleGAN生成器生成的图片存在背景及头发虚化等问题，使得生成的换脸图像质量低，与真实图像存在较大差距。

发明内容

本发明的目的在于克服上述现有技术中，现有深度伪造换脸图像生成方法生成的换脸图像的质量低，与真实图像存在较大差距的缺点，提供一种深度伪造换脸图像生成方法、系统、设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，提供一种深度伪造换脸图像生成方法，包括：获取源人脸图像和目标人脸图像；根据源人脸图像调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；根据目标人脸图像调用预设的人脸编码器，得到目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量；根据初步交换潜向量和目标人脸图像的风格空间下的潜向量，调用预设的人脸属性稳定器得到交换潜向量；根据交换潜向量和目标人脸图像的姿态空间下的潜向量，调用预设的人脸生成器得到初步换脸图像，及根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合，得到换脸图像。

可选的，所述人脸编码器包括人脸特征提取器、隐空间映射器以及人脸区域感知器；当人脸特征提取器的输入为源人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到源人脸图像的风格空间下的潜向量；当人脸特征提取器的输入为目标人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到目标人脸图像的风格空间下的潜向量和姿态空间下的潜向量；以及通过U-Net结构，采用特征图串联的方式作为人脸区域感知器的输入，通过人脸区域感知器得到目标人脸图像的人脸区域掩码图像。

可选的，所述人脸特征提取器为残差神经网络ResNet50。