[发明专利]基于人脸三维形状的换脸伪造检测方法、系统及设备

说明书

本发明属于人脸交换图像、计算机视觉与图像取证领域，具体涉及了一种基于人脸三维形状的换脸伪造检测方法、系统及设备，旨在解决现有技术易受后处理操作与非同源人脸伪造方法的攻击，模型鲁棒性和和泛化性不高，从而人脸伪造检测准确性较低甚至无法检测的问题。本发明包括：提取人物面部外观确定人物身份；从注册参考集中获取相应人物的面部三维形状特征模板；通过3DMM提取待检测图像的面部三维形状特征；计算两者之间的马氏距离，若小于真假判断阈值，则为真实人脸图像；否则，为换脸伪造图像。本发明可以将伪造样本从真实人脸图片中检测出来，同时有效提升检测模型对多种后处理操作的抗干扰能力以及与训练数据非同源的伪造方法的泛化能力。

技术领域

本发明属于人脸交换图像、计算机视觉与图像取证领域，具体涉及了一种基于人脸三维形状的换脸伪造检测方法、系统及设备。

背景技术

近年来，随着深度学习，特别是生成对抗网络(GAN)的蓬勃发展，人脸图像的面部篡改技术也展现出了快速的进展。而随着近几年GAN的发展，一些人眼很难分辨的高质量伪造图像可以被轻而易举的生成出来。其中，人脸交换是当前最为常见的伪造生成方法。一些不法分子可以利用人脸交换的伪造生成技术来达到一些恶意的目的，因此这也是数字图像取证领域的重要研究课题之一。

在数字图像取证领域，已经有一些深度伪造检测的方法被提出。当前的方法主要可分为基于图像像素级伪影的方法和基于特定线索的方法。对于基于图像像素级伪影的方法，将伪造检测当作一个真假二分类问题，针对于换脸问题，就是令网络自己学到换脸的伪造痕迹[1][2]。对于基于特定线索的方法，针对换脸问题，包含眨眼检测，头部姿态，面部表情运动模式等方法[3][4][5]。

然而，当前基于像素级伪影的方法，虽然能够得到很好的检测准确率，但是却很容易受到一些后处理操作的攻击，比如增加噪声以及模糊图像，都会使得检测性能受到影响，特别是对于训练数据中未包含的伪造方法所生成的伪造数据(与训练数据非同源伪造数据)，甚至有可能完全失效，从而模型的鲁棒性和泛化性不高。

以下文献是与本发明相关的技术背景资料：

[1]Andreas Rossler,Davide Cozzolino,Luisa Verdoliva,Christian Riess,Justus Thies,and Matthias Niessner,“Faceforensics++:Learning to detectmanipulated facial images”,in The IEEE International Conference on ComputerVision(ICCV),2019.

[2]Brian Dolhansky,Russ Howes,Ben Pflaum,Nicole Baram,and CristianCanton Ferrer,“The deepfake detection challenge(dfdc)preview dataset”,2019.

[3]Li,Y.,Chang,M.C.,Lyu,S.:In ictu oculi,“Exposing AI created fakevideos by detecting eye blinking”,in IEEE International Workshop onInformation Forensics and Security,2018.

[4]X.Yang,Y.Li,and S.Lyu,“Exposing deep fakes using inconsistent headposes”,in ICASSP 2019-2019IEEE International Conference on Acoustics,Speechand Signal Processing(ICASSP),2019.