[发明专利]一种基于对抗学习的数据隐私保护方法

说明书

本发明公开了一种基于对抗学习的数据隐私保护方法，将基于深度生成对抗网络的换脸模型作为被攻击模型，提出一种能控制攻击效果的对抗攻击方法，从人脸图像的语义表示层面出发，实现攻击后生成可控制的具有语义特征的图片的方法；利用图像的语义可分解性，通过串联被攻击模型与语义判别器，修改语义标签来同时达成原始待保护图像的微量修改与生成图像的语义层面上的改变；在给定的人脸图像上添加扰动以使换脸模型作用于该人脸图像时所生成的换脸图像发生语义层面上的人脸外观属性明显改变，导致换脸失败。

技术领域

本发明涉及一种基于对抗学习的数据隐私保护方法，具体是一种基于对抗攻击GAN的人脸隐私保护方法，涉及计算机视觉技术领域，尤其涉及人脸图像编辑和对抗攻击技术领域。

背景技术

深度生成对抗网络的出现使得计算机视觉、自然语言处理、半监督学习等多个领域有了极大发展，但也使得伪造合成、篡改图像或视频变得可能，例如基于自编码器和生成对抗网络的DeepFake技术可将视频中的人脸换成其他人，而人类以肉眼无法分辨真假。尤其是基于深度生成对抗网络的人脸编辑和换脸技术效果最逼真和便捷。如果利用这些换脸技术把人脸替换到不合适的背景中，会对名人、政客和女性的个人形象有较大的隐私安全威胁。此外，人脸图像的合成也给身份验证系统带来极大的安全隐患，也将带来越来越多的社会问题。尽管目前已经存在一些成功的DeepFake伪造检测技术，但这些技术均从伪造图像的检测角度出发，并未从预防的角度出发，从而防止图像的合成伪造。当伪造的图片被检测出来时，人脸信息的泄露与被利用已既成事实。综上所述，为保护人脸隐私安全，阻止基于深度生成对抗网络的伪造图像的有效合成，也即破坏换脸技术，成为一个新颖的研究领域。

在破坏换脸的技术中，其中一个重要的方向就是对抗学习领域的对抗攻击。传统对抗攻击方法主要针对基于深度学习的分类模型攻击，通过在原始图片上添加肉眼不可见的少量噪声扰动使得分类器输出错误的类别。生成不可见噪声的过程就是对抗攻击的过程，一般是通过多次累加对抗攻击损失回传到原图的截断之后的梯度生成。在原图上加上生成的对抗噪声的图片被称为对抗样本，对抗样本会使得被攻击的深度网络模型作用失效。此外，也出现了一些针对生成对抗网络的攻击方法，但已经公开的攻击方法局限性较大，只能使得输出图像上出现一些不是很明显的无意义噪声，攻击效果很不稳定，且生成的对抗样本在攻击其他模型时表现出的迁移性较差。综上，已知的对深度生成对抗网络的攻击方法尚不能成熟地用于防止人脸被替换，进而保护人脸隐私。

发明内容

发明目的：针对现有技术中存在的问题与不足，增加对深度生成对抗网络的攻击的稳定性和可控性，同时设法使得被攻击模型所生成的图像出现可辨识特征，本发明提供了一种基于对抗学习的数据隐私保护方法，基于对抗攻击GAN实现对人脸隐私保护，提出了一种针对生成对抗网络模型进行可控制的语义攻击的框架。通过串联已经训练好的语义判别器，使用改进后的对抗攻击方法，生成微小扰动的对抗噪声，在需要保护的人脸图像上添加该对抗噪声后会使得被攻击模型所生成的伪造图像换脸失败，如图像真实度不够、出现局部损坏等。同时本发明可以人为控制使得在生成的伪造图片中出现具有特定语义信息的特征块，如出现性别反转、衰老、红叉logo等，进而使得审核者更容易发现虚假图片。此外，本发明生成的对抗样本在对其他类似模型做对抗攻击时，具有一定的迁移性。

通过对抗攻击技术，为所需要保护的人脸图片生成人眼不可见的微小保护噪声，给原图加上保护噪声后不会影响其清晰度。加上噪声保护后的人脸图片会破坏基于生成对抗网络的换脸过程，使得经过生成对抗网络之后换脸失败，伪造图片出现破损和失真，从而实现保护人脸隐私的目的。此外，本发明可以使得被攻击后的深度生成对抗网络合成的伪造图片中出现一些可人为控制的语义块，这些语义块除了掩盖人的隐私信息，还能帮助识别其虚假性，同时这种可控性攻击比普通攻击也更加有效、稳定。