[发明专利]一种人脸生成系统及方法

权利要求书

1.一种人脸生成系统，其特征在于，包括：合成网络生成器；其中：

所述合成网络生成器的编码端包含几何感知特征转换模块，所述几何感知特征转换模块利用目标人脸解析图去指导源人脸特征图的变换，从而将目标人脸的姿态和表情迁移到源人脸上，同时保留源人脸的身份，输出编码器特征图；

所述合成网络生成器的编码端和解码端之间搭建了多尺度空间一致性传输单元，将目标人脸解析图作为条件输入所述多尺度空间一致性传输单元，指导编码器特征图传入解码端，最终生成人脸图像。

2.根据权利要求1所述的人脸生成系统，其特征在于，所述合成网络生成器，包括：依次设置的编码器、瓶颈层和解码器；所述几何感知特征转换模块设置于编码器的每个卷积层之后的位置；所述多尺度空间一致性传输单元设置于编码器和解码器的对应卷积层之间的位置；

其中：

所述编码器包含4个步长为2的卷积层进行下采样，所述瓶颈层包含2个残差块，所述解码端包含4个转置卷积层进行上采样；所有卷积层和转置卷积层均采用实例归一化层来对单个学习样本进行归一化；所述合成网络生成器采用如下任意一项或任意多项损失函数：

-对抗损失，采用最小Wasserstein距离，并添加梯度惩罚项，用于保证判别器满足利普西茨连续条件，从而稳定训练过程；

-逐像素损失，包含目标人脸与源人脸不同时的一范数损失以及目标人脸与源人脸相同时的重建损失，用于保证生成人脸在像素层面上接近真实人脸；

-特征匹配损失，用于最小化生成人脸和真实人脸输入判别器所得到的不同层特征图之间的距离，从而提升生成图像的视觉质量。

3.根据权利要求1所述的人脸生成系统，其特征在于，所述几何感知特征转换模块，包括：利用一个实例归一化层将编码器特征进行归一化，分别利用两个包含卷积层、激活函数和卷积层的网络将目标人脸解析图变为转换参数，接着使用这两个转换参数对归一化的特征进行转换，最后通过激活函数得到转换后的特征；

所述多尺度空间一致性传输单元，包括：将里层的编码器特征与目标人脸解析图级联，通过一个转置卷积层和激活函数后再与外层的编码器特征级联，最后送入一个卷积层和激活函数得到输出的特征。

4.根据权利要求1-3任一项所述的人脸生成系统，其特征在于，还包括合成网络判别器，所述合成网络判别器设置于所述合成网络生成器的后端，用于通过将真实图像或生成图像映射为分数图再取平均来计算生成图像的真实度得分。

5.根据权利要求4所述的人脸生成系统，其特征在于，所述合成网络判别器为基于分块的判别器，采用最小Wasserstein距离作为对抗损失，并添加梯度惩罚项，用于保证判别器满足利普西茨连续条件，从而稳定训练过程。

6.一种人脸生成方法，其特征在于，包括：

在生成网络的编码端引入几何感知特征转换模块，所述几何感知特征转换模块利用目标人脸解析图去指导源人脸特征图的变换，从而将目标人脸的姿态和表情迁移到源人脸上，同时保留源人脸的身份，输出编码器特征图；

在生成网络的编解码器之间引入多尺度空间一致性传输单元，将目标人脸解析图作为条件输入所述多尺度空间一致性传输单元，指导编码器特征图传入解码端，最终生成人脸图像。

7.根据权利要求6所述的人脸生成方法，其特征在于，所述几何感知特征转换模块接收上一级编码器输出的特征图Fⁱⁿ以及目标人脸解析图L_t作为输入，通过先对特征图Fⁱⁿ进行实例归一化再进行调制得到该模块输出的特征图F^out：

其中，γ_i，l和β_i，l是从目标人脸解析图L_t计算得来的转换参数，i，l分别为特征图通道和网络层的索引，mean为求均值操作，std为求标准差操作。