[发明专利]基于时序不一致性的深度伪造视频检测方法及系统

说明书

本发明涉及一种基于时序不一致性的深度伪造视频检测方法及系统，属于视频检测领域。该方法包括：S1,获取视频数据集，对数据进行预处理，获得视频帧的人脸图像；S2,将视频帧输入到微调的网络Xception+卷积模块的注意力机制模块网络进行训练，用于视频帧级特征的提取；S3,用训练好的Xception网络进行视频连续帧的特征提取，并输入双向长短期记忆网络+条件随机场网络模型中进行训练；S4，使用训练好的模型对待测试的视频进行伪造检测。本发明利用伪造技术造成视频在帧间的时序不一致性，结合双向长短期记忆网络和条件随机场算法，在一定的程度上提升对深度伪造视频的检测。

技术领域

本发明属于视频检测领域，涉及基于时序不一致性的深度伪造视频检测方法及系统。

背景技术

随着社会发展和科技的进步，越来越多的人在社交软件上通过分享照片和视频来分享自己的生活。然而，由于视频伪造工具层出不穷(Adobe Premiere、Adobe Photoshop、Lightworks)，使得人们能更方便地对视频进行伪造，一些不法分子通过对照片和视频进行伪造来获取利益。同时，随着机器学习技术的兴起，将深度学习与视频伪造技术的结合，通过对编解码器的训练来进行人脸伪造，使伪造的视频更加难以分辨真伪。比如换脸软件ZAO,人们只需要一张照片就可以把一段视频里的人脸换成照片中的人脸。这些伪造技术使得视频的完整性、真实性和可靠性受到质疑，对个人和社会都会造成严重的影响。

对深度伪造视频的研究主要集中在对换脸视频的研究，检测方法主要分为对视频帧内的检测和视频帧间的检测。当前主要的检测方法集中在对视频帧内的特征研究，使用深度学习进行人脸伪造时，分辨率不一致、光照不一致等原因会造成的脸部局部出现抖动等瑕疵，因此通过对视频中每个帧的特征来研究和分析视频的真伪性，使用深度学习相关知识去自动学习并捕获这些瑕疵从而对视频的真伪性进行判断。由于在对视频进行伪造时，是逐帧进行的，会引入前后帧在表情、光照等时序上的不一致性，用帧内的检测方法难以捕捉到这种时序的不一致性，同时，目前的一些针对时序不一致性的检测方法主要都是依赖于当前帧之前的信息，没有结合未来的帧信息进行考虑，使得对伪造视频的检测率低，错误率高。

发明内容

有鉴于此，本发明的目的在于提供一种基于时序不一致性的深度伪造视频检测方法及系统。

为达到上述目的，本发明提供如下技术方案：

基于时序不一致性的深度伪造视频检测方法，该方法包括以下步骤：

S1、获取实验数据集，将数据集分为训练、验证和测试集，并将视频处理为视频帧，同时提取视频帧中的人脸，将视频处理只包含人脸的视频帧；

S2、将经过处理的视频帧输入到微调的Xception网络中，其中Xception网络中加入卷积模块的注意力机制模块CBAM，结合空间和通道对网络进行训练，保存使得模型达到最好效果时的参数；

S3、用训练好的Xception模型去提取每个视频连续K帧序列的特征，提取每K帧的特征为一组作为双向长短期记忆网络Bilstm的输入进行训练，其中加入条件随机场CRF对Bilstm的预测结果进行调整，保存使得模型达到最好效果时的参数；

S4、使用训练好的双向长短期记忆网络Bilstm对待测试的视频进行检测，通过输出测试的准确率等来评估模型的性能。

可选的，所述步骤S1具体包括：

S11、将视频按照一定的比例分为训练、验证、测试集，将视频真实视频与伪造视频进行标记，再根据视频帧率，对每个视频取一定比例的帧；

S12、将取到的帧通过人脸检测器检测出人脸区域，通过人脸地标进行对齐后按照一定的像素归一化处理。

可选的，所述步骤S2具体包括：