[发明专利]三维语义噪声驱动的人脸合成操纵方法和装置

权利要求书

1.一种三维语义噪声驱动的人脸合成操纵方法，其特征在于，包括：

确定待处理人脸语义；

生成所述待处理人脸语义对应的三维语义噪声；其中，不同人脸语义对应的三维语义噪声之间相互独立；

利用人脸合成操纵模型，基于所述待处理人脸语义对应的三维语义噪声，生成人脸合成图像；或，基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像。

2.根据权利要求1所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像，具体包括：

基于所述人脸合成操纵模型中的编码器，对所述待操纵人脸图像进行特征提取，得到所述待操纵人脸图像的图像特征；

基于所述人脸合成操纵模型中的特征编辑器，将所述待处理人脸语义对应的三维语义噪声与所述图像特征中所述待处理人脸语义的图像特征编码交换，得到所述待操纵人脸图像的已编辑图像特征；

基于所述人脸合成操纵模型中的操纵图像生成器，根据所述已编辑图像特征，生成所述人脸操纵图像。

3.根据权利要求2所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述人脸合成操纵模型是对人脸合成网络、人脸操纵网络和人脸重建网络进行联合训练得到的；

所述人脸合成网络包含合成图像生成器；所述合成图像生成器用于基于对应人脸语义的三维语义噪声进行人脸合成；

所述人脸操纵网络包含所述特征编辑器和所述操纵图像生成器；

所述人脸重建网络包括所述编码器和重建图像生成器；所述重建图像生成器用于基于所述编码器的输出结果进行图像重建；

所述合成图像生成器、所述操纵图像生成器和所述重建图像生成器共享参数。

4.根据权利要求3所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述人脸合成操纵模型的损失函数包括风格多样性损失、外观匹配损失、多类分割损失、重建损失和对抗生成损失；

其中，所述风格多样性损失用于最大化所述合成图像生成器基于同一人脸语义对应的不同三维语义噪声合成的图像间的差异；

外观匹配损失用于最小化操纵区域对应的操纵子图像和合成子图像间的差异，并最小化保留区域对应的操纵子图像和重建子图像间的差异；所述操纵区域对应的操纵子图像和合成子图像分别是所述操纵图像生成器和所述合成图像生成器基于所述操纵区域对应的同一三维语义噪声生成的；

多类分割损失用于解耦所述编码器针对不同人脸语义输出的图像特征编码；

重建损失用于最小化所述重建图像生成器生成的图像与输入的原始图像间的差异；

对抗生成损失用于最大化所述合成图像生成器、所述操纵图像生成器和所述重建图像生成器生成的图像的逼真程度。

5.根据权利要求4所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述多类分割损失具体为：

其中，和分别表示输入图像中位置(h,w)处像素的语义分割结果以及语义标签，语义分割结果是基于所述输入图像的图像特征进行语义分割得到的，h和w表示语义标签图的高和宽，P＝{0,1，...，K-1}表示语义类别。

6.根据权利要求2所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述待操纵人脸图像的已编辑图像特征具体为：

F_m＝(1-M^k)*F_r+M^k*N^3D；

其中，F_r和N^3D分别表示所述待操纵人脸图像的图像特征和全部人脸语义对应的三维语义噪声，M^k表示所述待处理人脸语义k的二值掩码图。