[发明专利]基于空间向量解纠缠的人脸融合攻击协助者面部溯源方法

说明书

本发明针对人脸融合攻击协助者面部溯源领域，提出了一种基于空间向量解纠缠的人脸融合攻击协助者面部溯源方法，包括下列步骤：1)数据集划分，训练集、验证集、测试集分别按照6：2：2进行划分，数据集采用HNU‑FM融合人脸数据集；2)预处理数据集，统一图像尺寸，增加数据多样性进行水平反转，上下反转，归一化图片；3)训练网络模型，训练内容编码器和属性编码器实现内容与属性编码，并在空间向量进行特征解纠缠实现分离操作，最后溯源出较为清晰的协助者人脸图像；4)使用训练好的模型进行测试，在验证集上调整模型超参数、使得模型在训练集以及验证集上取得最好的效果；5利用测试集测试模型泛化能力，对比溯源图像和真实图像，并按照准确率公式计算人脸融合攻击协助者面部复原的准确率。

技术领域

本发明涉及人脸融合取证技术领域，尤其是一种一种基于空间向量解纠缠的生成对抗网络来实现人脸融合攻击溯源方法。

背景技术

人工智能的飞速发展，电子识别系统(FRS)以其高精度的人脸识别能力在社会生活中得到了广泛的应用。自动边界控制系统(ABC)是我们常用的FRS电子识别系统。ABC系统通过比对存储在电子机器可读旅行证件(eMRTD)的电子面部图片对身份进行验证。

然而，近期发现一种新颖的身份盗窃场景攻击，可以很容易地欺骗人脸识别系统。该攻击的思想是:首先由两个或多个真实面孔组合生成一张融合人脸的图像，意味着它包含多个真实人物的身份；其次利用修改后的面部图像作为新的身份登记。在一个成功的攻击中,犯罪和共犯可以同时匹配存储在FRS中的模板。因此罪犯可以和其共犯通过修改存储在eMRTD的照片，获得一个合法的身份，以此欺骗人脸识别系统。

该攻击证明了人脸变形攻击对现有FRS存在严重威胁。针对该类攻击，研究者们提出一些人脸变形检测的方法来保护人脸的安全。但这些检测方法存在一定局限性，只能检测面变形攻击的存在,没有办法进一步恢复共犯的面部图像。为此近期有关人脸变形恢复的相关研究也在逐步进行，M.Ferrara等人率先提出一种人脸去变形方法，它基于人脸变形方法，通过反向人脸变形操作实现共犯人脸复原。但由于在进行人脸融合时参数未知，该方法只在已知参数的情况下表现良好。Peng,F等人提出一种基于GAN的人脸恢复方法，提出双重对称生成对抗网络，利用神经网络学习，对共谋者人脸进行分离，但其分离操作还存在优化空间，溯源图像清晰度和准确率也还有待提高。

发明内容

在过去几年的研究中，人脸融合攻击已经证实严重威胁到了人脸识别系统的的安全，其应对的检测方法也相继提出，然而针对人脸变形后共犯的人脸恢复研究还未深入展开。目前我们已知可行的人脸溯源方法都分别存在其局限性：M.Ferrara等提出的方法仅限于在已知其融合方法和融合系数的前提下才有很好的效果，Peng,F等人提出的方法其具体的分离网络和图像质量还有进一步优化的空间。受风格迁移，特征解缠等文章启发，我们提出一种新网络结构，对人脸信息进行内容与属性编码并实现共享，并在特征空间对内容与属性编码进行解纠缠实现共犯的人脸恢复。

为了实现共犯的人脸恢复，本发明基于空间向量解纠缠提供了新模型框图实现人脸融合攻击协助者面部溯源，包括以下步骤：

步骤一、数据集划分，训练集、验证集、测试集分别按照6：2：2进行划分，数据集采用HNU-FM融合人脸数据集；

步骤二、预处理数据集，统一图像尺寸，增加数据多样性进行水平反转，上下反转，归一化图片；

步骤三、训练网络模型，训练内容编码器和属性编码器实现内容与属性编码，并在空间向量进行特征解纠缠实现分离操作，最后溯源出较为清晰的协助者人脸图像；

步骤四、使用训练好的模型进行测试，在验证集上调整模型超参数、使得模型在训练集以及验证集上取得最好的效果；

步骤五、利用测试集测试模型泛化能力，对比溯源图像和真实图像，并按照准确率公式计算人脸融合攻击协助者面部复原的准确率。