[发明专利]一种人脸生成系统及方法

说明书

本发明提供了一种人脸生成系统及方法，引入几何感知特征转换模块，利用目标人脸解析图去指导源人脸特征图的变换，从而将目标人脸的姿态和表情迁移到源人脸上，同时保留源人脸的身份；引入多尺度空间一致性传输单元，将目标人脸解析图作为条件输入该单元，指导编码器特征传入解码端，最终生成人脸，在提升生成图片质量的同时，不弱化模型对人脸的操纵能力；使用目标人脸解析图引导编码器特征的传输，保持了编码器和解码器特征之间的一致性，解决了编码器和解码器特征在空间上未对齐的问题；通过结合内部和外部的编码器特征，结合了多尺度的信息，提升了生成人脸的质量。本发明能够生成逼真的人脸，同时可以应用到模型训练时未见过的人脸。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种人脸生成系统及方法。

背景技术

人脸生成一直是计算机视觉领域的研究热点，得到了学界和工业界的广泛关注，其目标是生成逼真的人脸，使其拥有目标姿态和表情，同时保留源人脸的身份。这项任务在电话会议系统，电影制作，虚拟现实和动画行业中有着极其广泛的应用。然而，由于对人脸姿态和表情进行转换的高度复杂性，合成逼真的人脸图像仍然极具挑战性。

经典的参数化方法利用预定义的模型(例如3D人脸模型)来表示源人脸，然后在给定目标参数的情况下渲染出结果。尽管这些算法可以直接操纵人脸的姿态和表情，但是由于模型能力有限，结果大多不能令人满意，并且它们需要精细的设计，同时有着很高的计算复杂度。

随着生成对抗网络在图像生成领域取得了巨大成功，许多方法尝试使用该技术进行人脸的生成，但是现有的方法大多存在两个问题。第一，很多方法都是针对特定目标的，无法在训练集中未见过的人脸上进行应用，对于新的人脸需要重新训练模型，这极大地限制了它们在实际场景中的应用。第二，现有方法无法生成高质量的逼真的人脸，特别是在人脸的姿态和表情出现大规模变化时，这些方法生成的人脸常常会出现模糊、不匹配的面部细节等伪影，同时源人脸的身份信息也在一定程度上遭到了破坏，无法满足高保真度生成的要求。

发明内容

本发明针对现有技术中存在的上述技术问题，提出一种人脸生成系统及方法。

为解决上述技术问题，本发明是通过如下技术方案实现的。

根据本发明的一个方面，提供了一种人脸生成系统，其特征在于，包括：合成网络生成器；其中：

所述合成网络生成器的编码端包含几何感知特征转换模块，所述几何感知特征转换模块利用目标人脸解析图去指导源人脸特征图的变换，从而将目标人脸的姿态和表情迁移到源人脸上，同时保留源人脸的身份，输出编码器特征图；

所述合成网络生成器的编码端和解码端之间搭建了多尺度空间一致性传输单元，将目标人脸解析图作为条件输入所述多尺度空间一致性传输单元，指导编码器特征图传入解码端，最终生成人脸图像。

优选地，所述合成网络生成器，包括：依次设置的编码器、瓶颈层和解码器；所述几何感知特征转换模块设置于编码器的每个卷积层之后的位置；所述多尺度空间一致性传输单元设置于编码器和解码器的对应卷积层之间的位置。

优选地，所述编码器包含4个步长为2的卷积层进行下采样，所述瓶颈层包含2个残差块，所述解码端包含4个转置卷积层进行上采样；所有卷积层和转置卷积层均采用实例归一化层来对单个学习样本进行归一化。

优选地，所述合成网络生成器采用如下任意一项或任意多项损失函数：

-对抗损失，采用最小Wasserstein距离，并添加梯度惩罚项，用于保证判别器满足利普西茨连续条件，从而稳定训练过程；

-逐像素损失，包含目标人脸与源人脸不同时的一范数损失以及目标人脸与源人脸相同时的重建损失，用于保证生成人脸在像素层面上接近真实人脸；