[发明专利]一种基于对抗学习的数据隐私保护方法

权利要求书

1.一种基于对抗学习的数据隐私保护方法，其特征在于，将基于深度生成对抗网络的换脸模型作为被攻击模型，提出一种能控制攻击效果的对抗攻击方法，从人脸图像的语义表示层面出发，实现攻击后生成可控制的具有语义特征的图片的方法；利用图像的语义可分解性，通过串联被攻击模型与语义判别器，修改语义标签来同时达成原始待保护图像的微量修改与生成图像的语义层面上的改变；在给定的人脸图像上添加扰动以使换脸模型作用于该人脸图像时所生成的换脸图像发生语义层面上的人脸外观属性明显改变，导致换脸失败；

方法的实现包括语义判别器训练和对抗攻击，对于所希望在生成图片上出现的语义特征类型，提前训练对应的语义判别器；换脸模型使用两张人脸图像作为输入，分别称为源图像X_s与目标图像X_t，最终输出换脸结果的合成图片中会包含源图像的身份特征和目标图像的面部属性特征和背景特征，实现在目标图像脸部以外区域不变的情况下将源图像身份转移嵌入到目标图像的效果；

所述对抗攻击是基于投影梯度下降法，针对含标签的分类模型，下降方向是使得输入图像的输出标签沿目标标签方向变化，即基于投影梯度下降法的损失是图像输出标签与目标标签的距离。

2.根据权利要求1所述的基于对抗学习的数据隐私保护方法，其特征在于，所述换脸模型的构建与训练步骤如下：

步骤101：准备用于编码源图像身份的编码器模型arcface；

步骤102：准备用于编码目标图像面部属性特征的多级编码器模型MAE；

步骤103：构造结合源图像身份特征与目标图像面部属性特征并生成多级放大图像的生成器模型G1；

步骤104：数据集预处理，将人脸数据集图像依次使用多任务级联卷积网络MTCNN模型标注人脸位置；

步骤105：若步骤104中未检测到人脸，跳过该图像；

步骤106：若步骤104中检测到人脸，选择权重最大的人脸，将框取部分人脸拉伸至设定大小并储存至新数据集；

步骤107：使用编码器模型arcface作为换脸模型的身份编码器；

步骤108：将新数据集中的源图像X_s截取中心区域，并降采样至设定大小，作为步骤107中编码器模型arcface的输入，得到身份编码向量z_id；

步骤109：将目标图像X_t输入多级属性编码器，共得到多个属性向量z_att；

步骤110：将步骤108与步骤109中所得到的身份编码向量z_id与属性向量z_att输入至多层生成器模型G1中，得到生成图像Y；

步骤111：将生成图像Y输入判别器D，得到判别结果；

步骤112：分别计算对抗损失、身份损失、属性损失、重构损失，并加权累加得到生成器训练损失，反向传播优化生成器模型G1网络参数；

步骤113：计算判别器D损失，反向传播优化判别器D网络参数；

步骤114：重复步骤108至114，直至生成器模型G1和判别器D模型收敛；

步骤115：换脸模型训练结束。

3.根据权利要求1所述的基于对抗学习的数据隐私保护方法，其特征在于，所述语义判别器模型使用的是基于深度生成对抗网络的图像领域编辑模型中的判别器模型，语义判别器模型输出分为两部分：对图像的真伪判断，以及图像的领域类别编码；语义判别器模型训练过程中，生成器模型G2以原始图像和图像的目标领域标签同时作为输入，根据原始图像重新生成基于目标领域标签的伪造图像，并在优化的损失函数中使得语义判别器无法将伪造图像和真实图像区分开，同时对图像的领域分类结果符合所给目标领域标签；语义判别器的输入是原图像或者生成器模型G2生成的伪造图像，经过六层卷积层提取图像特征，将所得特征分别接入两个全连接层，两个全连接层分别输出真伪分类结果以及领域分类向量；语义判别器的目标是判别出输入图像的真伪度和领域标签；训练过程中，每更新N步语义判别器，再更新一次生成器模型G2；生成器模型G2首先将领域信息根据图像大小作重复排列，和输入图像进行拼接后输入卷积网络，网络包括一层卷积层、两层作降采样的卷积层、六层残差层、两层作向上采样的逆卷积层以及一层卷积层。