[发明专利]生成对抗网络训练方法、图像换脸、视频换脸方法及装置

说明书

本发明实施例公开了一种生成对抗网络训练方法、图像换脸、视频换脸方法及装置，包括：获取原图像和目标图像；初始化生成对抗网络的生成器和判别器；将原图像和目标图像输入生成器中训练获得换脸图像，其中，生成器从原图像提取第一人脸的属性特征图，从目标图像中提取第二人脸的身份特征，身份特征注入属性特征图中生成混合特征图，根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的换脸图像；将原图像和换脸图像输入判别器训练得到判定值；根据判定值、换脸图像、原图像和目标图像对生成器和判别器进行调整。采用训练好的生成器来生成换脸图像，换脸效果真实自然，能够保持原图像的属性特征和目标图像的身份特征。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种生成对抗网络训练方法、图像换脸方法、视频换脸方法及装置。

背景技术

随着短视频、直播等视频应用的普及，换脸是计算机视觉领域的一项重要技术，换脸被广泛用于内容生产、电影制作、娱乐视频制作等。

换脸是指给定一张原图像和目标图像，将目标图像中的身份特征迁移到原图像中得到换脸图像，使得该换脸图像既保持目标图像的身份特征，同时又具有原图像的脸部姿态、脸部表情等属性特征，另外需求换脸图像真实自然，现有技术中包括以下三种换脸方式：

1)基于脸部关键点的脸部融合换脸，该方式先获取原图像和目标图像的脸部关键点，然后通过原图像关键点提取原图像的脸部区域，再根据目标图像的关键点将原图像的脸部区域融合到目标图像中，此方式容易造成换脸图像的脸部不真实自然。

2)基于3D脸部建模换脸，该方式分别对原图像和目标图像重建3D模型，然后从目标图像的3D模型中提取身份特征，并结合原图像的3D模型的属性特征来生成换脸图像，该方式生成的换脸图像同样不真实自然。

3)基于对抗生成网络换脸，该方式通过神经网络从原图像中提取属性特征，从目标图像中提取身份特征，然后将两个特征结合后，通过解码器来解码结合后的特征得到换脸图像，该方法生成的换脸图像真实自然，但是比较难同时保持原图像的属性特征和目标图像的身份特征。

综上所述，现有换脸技术难以获得真实自然的换脸图像，并且换脸图像中无法同时保持原图像的属性特征和目标图像的身份特征。

发明内容

本发明实施例提供一种生成对抗网络训练方法、图像换脸方法、视频换脸方法、装置、电子设备和存储介质，以解决现有换脸技术中无法获得真实自然的换脸图像，且换脸图像中无法同时保持原图像的属性特征和目标图像的身份特征的问题。

第一方面，本发明实施例提供了一种生成对抗网络训练方法，包括：

获取包含第一人脸的原图像和包含第二人脸的目标图像；

初始化生成对抗网络的生成器和判别器；

将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，所述生成器用于从所述原图像提取第一人脸的属性特征图，从所述目标图像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征图，以及根据所述身份特征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后的换脸图像；

将所述原图像和所述换脸图像输入所述判别器进行训练得到判定值；

根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。

第二方面，本发明实施例提供了一种图像换脸方法，包括：

获取包含第一人脸的原图像和包含第二人脸的目标图像；

将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；