[发明专利]深度伪造换脸图像生成方法、系统、设备及存储介质

权利要求书

1.一种深度伪造换脸图像生成方法，其特征在于，包括：

获取源人脸图像和目标人脸图像；

根据源人脸图像调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；根据目标人脸图像调用预设的人脸编码器，得到目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；

根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量；根据初步交换潜向量和目标人脸图像的风格空间下的潜向量，调用预设的人脸属性稳定器得到交换潜向量；

根据交换潜向量和目标人脸图像的姿态空间下的潜向量，调用预设的人脸生成器得到初步换脸图像，及根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合，得到换脸图像。

2.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述人脸编码器包括人脸特征提取器、隐空间映射器以及人脸区域感知器；

当人脸特征提取器的输入为源人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到源人脸图像的风格空间下的潜向量；

当人脸特征提取器的输入为目标人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到目标人脸图像的风格空间下的潜向量和姿态空间下的潜向量；以及通过U-Net结构，采用特征图串联的方式作为人脸区域感知器的输入，通过人脸区域感知器得到目标人脸图像的人脸区域掩码图像。

3.根据权利要求2所述的深度伪造换脸图像生成方法，其特征在于，所述人脸特征提取器为残差神经网络ResNet50。

4.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述潜向量选择器包括依次连接的全局池化层、第一全连接层、ReLU层和第二全连接层；所述根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量包括：

对于源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，分别输入到潜向量选择器的全局池化层进行特征压缩，将各潜向量上的整个空间特征进行编码，得到各潜向量的全局描述特征；

将各潜向量的全局描述特征输入到第一全连接层中然后采用ReLU层激活，再将输出输入到第二全连接层中恢复原始维度，并通过sigmoid函数激活得到各潜向量的量的得分；

选取源人脸图像的风格空间下的潜向量中得分最高的潜向量作为第一潜向量，选取目标人脸图像的风格空间下的潜向量中得分最高的潜向量作为第二潜向量，组合第一潜向量和第二潜向量作为初步交换潜向量。

5.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述人脸属性稳定器基于Transformer模型架构，通过预设的人脸属性稳定器训练样本训练得到，其中，初步交换潜向量作为Transformer模型架构的Q矩阵，目标人脸的风格空间下的潜向量同时作为Transformer模型架构的K矩阵和V矩阵。

6.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述人脸生成器基于StyleGAN2模型架构，通过预设的人脸生成器训练样本训练得到；其中，将目标人脸图像的姿态空间下的潜向量作为StyleGAN2模型架构的基本输入，将交换潜向量作为StyleGAN2模型架构的风格控制输入，取消StyleGAN2模型架构的噪声输入。

7.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述调用预设的面部融合器进行融合包括：

将目标人脸图像的人脸区域掩码图像进行虚化，根据预设的调节阈值从内向外递减虚化人脸区域掩码图像外部一圈的像素值，获得软化后人脸区域掩码图像；

将软化后人脸区域掩码图像与初步换脸图像进行点乘并截取出人脸图像，以及将人脸图像与目标人脸图像基于柏松融合方式进行融合。