[发明专利]一种基于表征对比预测学习的深度伪造视频检测方法

说明书

本发明涉及一种基于表征对比预测学习的深度伪造视频检测方法。其发明内容主要包括(1)提出一种基于表征学习的卷积神经网络人脸表征模型；(2)提出一种基于对比预测学习的时序人脸回归预测方法；(3)提出一种分阶段式训练的深度伪造视频检测方案。

技术领域

本发明涉及计算机应用技术领域，一种基于表征对比预测学习的深度伪造视频检测方法。

背景技术

近年来，由于短视频的迅猛发展，互联网的流量已经从文本页面急剧地转移到视频文件，人们获取的信息量也呈指数增长。2017年，名为“Deepfake”的深度伪造技术的出现颠覆了人们“眼见为实”的认知。深度伪造技术实际上是一种人脸交换技术，顾名思义，也就是把视频中的一张脸替换成另一张脸。这种伪造技术使用门槛低，可以将社交媒体中的视频数据用于各种目的。网友将社交媒体中的视频人脸替换为不同的女明星用于娱乐，此外，电视剧制作过程也使用深度伪造技术更换主角的人脸。当深度伪造技术被滥用，会对个人隐私，构成威胁。这些深度伪造技术是人工智能技术与视频技术的结合，有着强大的伪造效果，以至于我们肉眼无法辨别真假视频。如果深度伪造视频在互联网上高速传播，伪造信息的影响会在瞬间被放大1000万倍。因此，如何使用人工智能技术检测深度伪造视频，是亟待解决的问题。

在深度伪造视频的生成过程中，用于训练的闭眼人脸的数据远少于睁眼的数据，这导致生成的视频中眨眼频率远低于真实视频。文献“Yuezun Li,Ming-Ching Chang andSiwei Lyu.In Ictu Oculi:Exposing AI created fake videos by detecting eyeblinking.in Proceeding of IEEE International Workshop on InformationForensics and Security,pp.1-7,2018”提出一种基于眨眼频率来检测深度伪造视频的方法。文献“Afchar Darius,Nozick Vincent,Yamagishi Junichi,and EchizenIsao.MesoNet:a compact facial video forgery detection network.in Proceedingof IEEE International Workshop on Information Forensics and Security,pp.1–7,2018”提出一种介观网络提取空间的介观特征来进行伪造视频的检测。由于视频的帧间存在时序信息，文献“陈鹏，梁涛，刘锦，戴娇，韩冀中.融合全局时序和局部空间特征的伪造人脸视频检测方法.信息安全学报，vol.5,No.2,2020”提出了将时序特征和空间特征结合的方法检测视频的真假。

现有的伪造视频生成技术主要包括Face2Face，DeepFakes，FaceSwap，NeuralTextures， Refined algorithm。以上的方法的检测鲁棒性不理想，不能很好的检测视觉质量高的视频，如使用Refined algorithm生成的视频，在跨数据库进行视频检测时，检测性能下降。现实生活中的大多数场景都是跨数据库的检测，需要我们检测的视频通常不是训练数据库当中的视频。考虑到实际应用的问题，本发明旨在提高深度伪造视频的检测鲁棒性，提出了一种基于表征对比预测学习的深度伪造视频检测方法。

发明内容

本发明提出了一种基于表征对比预测学习的深度伪造视频检测方法，并通过分阶段训练的方式进一步优化模型，可以检测不同视觉质量的深度伪造视频，并且具有一定的鲁棒性。主要包括三大内容：

(1)提出一种基于表征学习的卷积神经网络人脸表征模型；

(2)提出一种基于对比预测学习的时序人脸回归预测方法；

(3)提出一种分阶段式训练的深度伪造视频检测方案。

具体内容如下：

(1)提出一种基于表征学习的卷积神经网络人脸表征模型：该模型通过编码多个时间点共享的信息来学习特征，同时丢弃局部信息，得到人脸的向量表示。