[发明专利]一种通用的快速换脸方法、装置、电子设备和存储介质

说明书

本发明公开了一种通用的快速换脸方法、装置、电子设备和存储介质，所述方法包括：根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。本申请的快速换脸方法，由于能够根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像；由于换脸图像是基于混合特征生成的、且由生成器生成的，这样，不仅能够很好地保留原图像的身份特征和目标图像的人物属性，而且无需针对换脸的原图像人物和目标图像的人物单独训练，最终实现了通用且快速的换脸过程。

技术领域

本发明涉及人工智能技术领域，特别涉及一种通用的快速换脸方法、装置、电子设备和存储介质。

背景技术

如何基于用户的单张图像实现换脸任务（将指定一张原图像中的人脸的身份特征迁移到目标图像的人上，并保持目标人物的属性：肤色，表情，发型，背景等）具有广泛的应用价值。例如，虚拟世界、电影特效、美发设计、娱乐短视频等。

现有的换脸技术主要有基于人脸关键点的换脸算法，基于人脸3D模型的换脸算法以及基于生成对抗网络的换脸算法。这些算法均能够实现换脸任务，但是并不能实现原图像人脸身份和目标图像的人物属性的很好的剥离和融合，导致现有的换脸技术缺少真实感，不能很好的保留原图像的身份特征和目标图像的人物属性，并且大多数需要针对换脸的原图像人物和目标图像的人物单独训练，而不是通用的模型。

发明内容

基于此，有必要针对基于现有的换脸方法的缺少真实感、且需要针对换脸的原图像人物和目标图像的人物单独训练的问题，提供一种通用的快速换脸方法、装置、电子设备和存储介质。

第一方面，本申请实施例提供了一种通用的快速换脸方法，所述方法包括：

获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图；

将所述第一人脸渲染图输入至第一编码器，输出第一编码，所述第一编码器用于提取所述第一人脸渲染图的身份特征；

将所述第二人脸图像的预处理图像输入至第二编码器，输出第二编码，所述第二编码器用于提取所述第二人脸图像的预处理图像的背景特征；

通过自适应网络，将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子；

根据所述偏移量和所述尺度变化因子，通过所述第二编码器进行特征融合处理，生成混合特征，所述混合特征为具有所述第一人脸渲染图的所述身份特征和所述预处理图像的所述背景特征；

生成器根据所述混合特征生成换脸图像，所述换脸图像为基于所述第一人脸渲染图生成的具有所述预处理图像的所述背景特征的图像。

在一种实施方式中，所述获取第二人脸图像的预处理图像包括：

识别所述第二人脸图像的人脸部分；

将所述人脸部分替换为白色图像，得到所述预处理图像。

在一种实施方式中，所述背景特征包括以下至少一项：所述第二人脸图像的预处理图像的人物背景特征、所述第二人脸图像的预处理图像的发型特征和所述第二人脸图像的预处理图像的身体特征。

在一种实施方式中，所述获取第一人脸图像对应的第一人脸渲染图包括：

获取所述第一人脸图像的第三编码和第二人脸图像的第四编码，所述第三编码具有所述第一人脸图像的所述身份特征，所述第二编码具有所述第二人脸图像的预设属性特征；

基于所述第三编码获取第一控制参数，以及基于所述第四编码获取第二控制参数；