[发明专利]一种基于特征标记训练策略的图像换脸方法

说明书

本发明涉及图像处理技术领域，更具体而言，涉及一种基于特征标记训练策略的图像换脸方法。包括如下步骤：S1：对截取的两帧图像进行标准化处理；S2：对两幅图像进行人脸检测并裁剪；S3：对裁剪后的图像检测人脸关键点；S4：计算表示人脸朝向的三个欧拉角中的偏航角；S5：选择一侧在两幅图像相对露出部分更多的侧脸；S6：得到标记源图像Xs’和标记目标图像Xt’；S7：将源图像Xs、标记源图像Xs’和目标图像Xt输入生成对抗网络，生成标记换脸图像Y’，用标记目标图像Xt’进行监督；S8：在推理应用阶段。本发明主要解决了现有的换脸技术在推理应用阶段换脸的质量较低，甚至在训练过程中达不到换脸的效果的问题。本发明主要用于图像换脸。

技术领域

本发明涉及图像处理技术领域，更具体而言，涉及一种基于特征标记训练策略的图像换脸方法。

背景技术

随着以直播和短视频为代表的视频应用的火热，计算机视觉技术得到了越来越多的应用，其中，AI换脸就是一个重要的技术，被用于图片编辑、影视制作、AI数字人制作等领域。现在一般使用生成对抗网络来实现换脸的功能。网络接受源图像Xs和目标图像Xt两张图像的输入，输出具有源图像Xs中的人物外貌和目标图像Xt的表情和脸部动作的换脸图像Y(背景来自源图像Xs)。

在生成对抗网络的训练中，为了生成清晰的具有真实感的图像，一般都需要使用图片对生成图像进行监督。在源图像Xs和目标图像Xt中的人像不是同一人的情况下，一般无法获得具有源图像Xs中的人物外貌和目标图像Xt的表情动作的真实图像，则训练无法进行。所以在网络的训练中，通常是在一段包含单人头像的视频中截取两帧，一帧作为源图像Xs，另一帧作为目标图像Xt，且两帧中的人像为同一人，这样目标图像Xt既包含了人物外貌信息和动作表情信息，故只需用目标图像Xt进行监督即可。故训练中使用的损失函数一般是生成对抗损失、换脸图像Y对目标图像Xt的重构损失以及一些子模块的局部损失。然而，在源图像Xs和目标图像Xt中人像是同一人时，上述损失函数无法约束网络的外貌信息从源图像Xs获得还是从目标图像Xt获得。甚至，当生成对抗网络忽略源图像Xs，只从目标图像Xt中获取外貌信息和动作表情信息进行重建时，上述损失函数同样可以降低到非常低的程度。虽然有的网络从模型设计上对源图像Xs和目标图像Xt进行了区分，比如论文《One-ShotFree-View Neural Talking-Head Synthesis for Video Conferencing》，其给源图像Xs设计了外观提取模块、中立表情三维关键点提取模块、头部姿态检测模块、表情偏移模块共四个特征提取模块，而只给目标图像Xt设计了头部姿态检测模块、表情偏移模块两个特征提取模块，但是使用不同人像的图片进行训练时可以在实验中看到，模型生成的图像明显带上了目标图像Xt的外貌特征，所以即使对源图像Xs和目标图像Xt设计差异化的特征提取通路，只对目标图像Xt提取少量特征，卷积神经网络仍然有能力将目标图像Xt的外貌信息引入换脸结果中。在现在常规的训练方式下，无论源图像Xs如何，生成的换脸图像Y都只与目标图像 Xt一模一样，这容易使生成对抗网络过于关注目标图像Xt。当生成对抗网络过于关注目标图像Xt时，上述将目标图像的外貌信息引入换脸结果中的现象将更容易发生。

由于上述情况的存在，网络训练过程可能导致目标图像Xt中的外貌信息被引入换脸图像Y中，在训练过程中因为源图像Xs和目标图像Xt中是同一人像，故不会显现出来。而在推理应用阶段，使用不同人像的源图像Xs和目标图像Xt 进行换脸时，网络引入的目标图像Xt的外貌信息会对源图像Xs的外貌信息造成干扰，降低换脸的质量；甚至在训练过程中网络只学会了从目标图像获取信息重建，在推理阶段完全忽视了源图像Xs的外貌信息，完全起不到换脸的效果。