[发明专利]一种人脸图像属性编辑方法、系统、电子设备及存储介质

说明书

本发明公开一种人脸图像属性编辑方法、系统、电子设备及存储介质，属于图像处理领域。首先分别高斯建模潜在代码各维度分布和在目标属性条件下的潜在代码各维度条件分布，然后计算各维度的KL散度，选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间，并在潜在代码修改子空间中随机生成多个潜在代码，再在这多个潜在代码中选择和目标属性向量最相似的潜在代码，输入StyleGAN生成器来完成人脸图像属性编辑。本发明将目标属性与人脸图像的其他属性的维度空间完全解耦，可精准的控制人脸图像属性编辑，在将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。

技术领域

本发明涉及图像处理领域，特别是涉及一种人脸图像属性编辑方法、系统、电子设备及存储介质。

背景技术

人脸属性编辑是给定一张人脸图像以及待编辑的目标属性，然后将这张人脸图像变换为具有目标属性的新人脸图像，并尽量保证原人脸图像内的其他属性特征不变。人脸图像属性编辑是计算机视觉领域的一项重要技术，广泛用于内容生产、电影制作和娱乐视频中，例如变光头、变发型、变小孩、变明星脸等。

由于现代GAN(Generative Adversarial Networks，生成式对抗网络)可以生成各种逼真的合成图像，特别是像人脸这样的高度结构化图像。业内通常会预训练一种GAN来实现人脸图像的目标属性编辑。目前，由于StyleGAN潜在代码良好的属性解耦性，基于预训练StyleGAN编辑人脸图像属性非常流行，主要有以下三种方法：

第一种：训练过程：第一步先获取一个分类器，然后对人脸图像集进行分类，提取这些人脸图像的属性向量；第二步使用优化或者回归的方法提取这些人脸图像的潜在代码；第三步按属性对这些潜在代码分组，计算每个分组的潜在代码均值，得到一张属性到潜在代码映射表，同时计算全体潜在代码均值。推理过程：查找属性到潜在代码映射表，得到目标属性对应的潜在代码均值，减去全体潜在代码均值，加上人脸图像潜在代码，再输入StyleGAN生成器即可完成人脸图像属性编辑。

第二种：在图像生成器的内部，通过特定维度上特征的替换，将引入的目标人脸图像上的精细风格赋予在人脸图像上，这种方法能控制白皮肤、卷发等精细类型。

第三种：通过CLIP（Contrastive Language–Image Pre-training，基于对比学习的语言-图像预训练）对齐人脸图像和文本的属性，可以通过自然语言实现人脸属性编辑。

第一种和第二种方法不需要新的数据标注和昂贵的训练成本，但由于StyleGAN潜在代码并不是完全解耦，并不能精准的控制人脸图像属性编辑，也就是说将输入图像变换为具有目标属性的目标域人脸图像过程中，会多多少少改变人脸图像内原有的其他属性特征。第三种人脸属性编辑方法由于自然语言天生表达模糊性，不能精准控制复杂的人脸图像属性编辑。

发明内容

本发明的目的是提供一种人脸图像属性编辑方法、系统、电子设备及存储介质，可精准的控制人脸图像属性编辑，将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。

为实现上述目的，本发明提供了如下方案：

一种人脸图像属性编辑方法，包括：

建立潜在代码到属性向量的映射器；

高斯建模人脸图像集中人脸图像的潜在代码各维度分布和目标属性条件下人脸图像的潜在代码各维度条件分布；

分别计算潜在代码各维度分布与目标属性条件下的潜在代码同一维度条件分布之间的KL散度；

选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间；

在所述潜在代码修改子空间中随机生成多个潜在代码，并利用潜在代码到属性向量的映射器，获得随机生成的潜在代码对应的属性向量；