[发明专利]基于生成对抗网络的人脸去识别化生成方法

权利要求书

1.一种基于生成对抗网络的人脸去识别化生成方法，其特征在于，包括以下步骤：

S1：获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像调整至预设尺寸，记人脸图像对其中表示第n对人脸图像中的第i张人脸图像，i＝1,2，n＝1,2,…,N；

S2：将每张人脸图像分别输入预训练的人脸特征提取模型中，获取对应的特征向量，记每张人脸图像所对应的特征向量为f_iⁿ；

将每张人脸图像的人脸五官部分采用随机噪声进行遮挡，得到遮挡人脸图像将其转化为向量，与人脸图像的特征向量f_iⁿ进行组合作为输入，将原始人脸图像作为真实人脸图像，构成一个训练样本的三元组

S3：构建生成对抗网络，包括生成器和辨别器，其中生成器的输入为遮挡人脸图像和人脸图像特征向量的组合，输出为生成虚拟用户人脸图像，辨别器所采用的真实图像为对应的原始人脸图像；

S4：将步骤S2中所得到的训练样本对生成对抗网络进行训练，在训练过程中每批次从人脸图像对集合中选取若干对人脸图像，将对应的训练样本作为当前批次训练样本，所采用的损失包括对抗损失、梯度惩罚损失、用户内损失、用户间损失和相似度损失，各种损失的计算方法分别为：

对抗损失的计算方法为：采用生成对抗网络中的辨别器获取当前批次训练样本中每张真实人脸图像的分数，以及当前批次训练样本中真实人脸图像所对应的生成虚拟用户人脸图像的分数，计算真实人脸图像分数和生成虚拟用户人脸图像分数之间的Wasserstein距离作为对抗损失LD；

梯度惩罚损失的计算方法为：计算当前批次训练样本中每个训练样本的梯度惩罚损失，平均后作为梯度惩罚损失LGP；

用户内损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每对人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户内损失LFFI；

用户内间损失的计算方法为：在当前批次训练样本中随机选取K对人脸图像，每对人脸图像中的两张人脸图像属于不同用户，采用人脸特征提取模型获取K对不同用户人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户间损失LFFO；

去识别化损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的特征向量，计算每张人脸图像与其对应生成虚拟用户人脸图像特征向量之间的余弦距离，平均后作为去识别化损失LRF；

结构相似度损失的计算方法为：计算当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的结构相似度，平均后作为结构相似度损失Ls；

设置辨别器损失为LD-θLGP，生成器损失为LD+αLFFI+βLs-γLRF+ηLFFO，其中θ、α、β、γ、η为预设的参数，交替训练辨别器与生成器；

S5：将需要进行去识别化生成的人脸图像调整至预设尺寸，将所得到的人脸图像p′通过人脸特征提取模型提取其特征向量f′，将人脸图像p′采用随机噪声进行人脸五官部分遮挡得到人脸图像将其转化为向量，与特征向量f′进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p′_*。

2.根据权利要求1所述的人脸去识别化生成方法，其特征在于，所述步骤S4中生成对抗网络的训练结束判断方法为：计算当前批次训练样本中每对人脸图像所对应特征向量对之间的余弦距离，平均后作为真实人脸图像余弦距离，然后计算当前批次训练样本中由每对人脸图像所得到的生成虚拟用户人脸图像对所对应特征向量对之间的余弦距离，平均后作为生成虚拟用户人脸图像余弦距离，如果生成虚拟用户人脸图像余弦距离大于真实人脸图像余弦距离，则继续训练，否则训练结束。

3.根据权利要求1所述的人脸去识别化生成方法，其特征在于，所述步骤S5中还包括对所生成的去识别化后的人脸图像进行校验，具体步骤包括：

1)获取和人脸图像p′属于同一用户的不同人脸图像，将其调整至预设尺寸，得到人脸图像p″；将所得到的人脸图像p″通过人脸特征提取模型提取其特征向量f″，将人脸图像p″采用随机噪声进行人脸五官部分遮挡得到人脸图像将其转化为向量，与特征向量f″进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p″_*；

2)采用生成对抗网络的辨别器获取去识别化后的人脸图像p′_*对应的分数，如果小于预设阈值，校验不通过，否则进入步骤3)；

3)采用人脸特征提取模型提取去识别化后的人脸图像p′_*和人脸图像p″_*的特征向量，通过特征向量的相似度判断人脸图像p′_*和人脸图像p″_*是否来源于同一个用户，如果不是，校验不通过，否则进入步骤4)；

4)采用人脸特征提取模型提取人脸图像p′和去识别化后的人脸图像p′_*特征向量，通过特征向量的相似度判断人脸图像p′和人脸图像p′_*是否来源于同一个用户，如果属于同一用户，校验不通过，否则进入步骤5)；

5)计算人脸图像p′和人脸图像p′_*的结构相似度，如果结构相似度大于预设阈值，则校验通过，否则校验不通过。