[发明专利]针对深度伪造的双向人脸数据保护方法、系统及设备

权利要求书

1.一种针对深度伪造的双向人脸数据保护方法，其特征在于，包括：

针对受保护用户的原始人脸图像进行水印嵌入，将获得的嵌入水印的人脸图像向外发布；

对待检测人脸图像进行水印提取；对于与发布的嵌入水印的人脸图像具有相同人脸身份信息的待检测人脸图像，若无法提取出完整的水印，则表明当前待检测人脸图像为通过深度伪造技术，使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像；对于除去与发布的嵌入水印的人脸图像具有相同人脸身份信息之外的待检测图像，若提取出完整的水印，则通过水印包含的身份信息判断是否与待检测人脸图像的身份信息一致，当身份信息不一致时，表明待检测人脸图像为通过深度伪造技术，使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像，同时，通过水印包含的身份信息追溯受保护用户的原始人脸图像；

其中，预先构建包含水印嵌入网络、人脸伪造模块以及水印提取模块的双向人脸数据保护框架；所述双向人脸数据保护框架需要预先进行训练，训练时输入至双向人脸数据保护框架的训练图像称为原始人脸图像，训练的损失包括：水印嵌入损失和水印提取损失；其中，所述水印嵌入损失包括：水印嵌入前后图像像素级别和图像特征层面的损失，以及通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪造的双向人脸数据之间的损失；所述深度伪造的双向人脸数据包括人脸替换图像与人脸被替换图像；所述水印提取损失包括：针对人脸替换图像的水印提取损失以及针对人脸被替换图像的水印提取损失。

2.根据权利要求1所述一种针对深度伪造的双向人脸数据保护方法，其特征在于，水印嵌入与水印提取分别通过水印嵌入网络与水印提取模块实现；

所述水印嵌入网络，用于将不可见的水印嵌入至受保护用户的原始人脸图像中；

所述水印提取模块，用于从深度伪造的双向人脸数据中进行水印提取；所述深度伪造的双向人脸数据包括所述人脸替换图像与人脸被替换图像。

3.根据权利要求1或2所述一种针对深度伪造的双向人脸数据保护方法，其特征在于，所述水印嵌入网络基于深度神经网络实现，用于将不可见的水印嵌入至受保护用户的原始人脸图像中；

所述人脸伪造模块包括两个类型的人脸伪造模型；每一类型的人脸伪造模型，用于模拟真实黑盒场景中的深度伪造技术，生成人脸替换图像或者人脸被替换图像；

水印提取模块包含两个水印提取网络，每一水印提取网络对应一种类型的人脸伪造模型；每一水印提取网络，用于从相应的人脸替换图像或者人脸被替换图像中进行水印提取。

4.根据权利要求1所述一种针对深度伪造的双向人脸数据保护方法，其特征在于，所述水印嵌入损失表示为：

其中，与均为权值系数；表示水印嵌入损失，I_org表示原始人脸图像，表示水印，E表示水印嵌入网络；表示水印嵌入前后图像像素级别的损失，表示水印嵌入前后图像特征层面的损失；表示通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪造的双向人脸数据之间的损失，表示为：

其中，表示通过原始人脸图像I_org生成的深度伪造的双向人脸数据，表示通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据，包括与两部分，表示生成的人脸替换图像，表示生成的人脸被替换图像。

5.根据权利要求1所述一种针对深度伪造的双向人脸数据保护方法，其特征在于，所述针对人脸替换图像的水印提取损失表示为：

其中，表示针对人脸替换图像的水印提取损失，其应用于人脸替换检测场景；表示第一损失，用于确保嵌入水印的人脸图像能够成功提取出水印；表示第二损失，用于确保人脸替换图像无法提取出水印。