[发明专利]多时域多特征结合的Deepfake视频检测方法及系统

说明书

本发明公开了一种多时域多特征结合的Deepfake视频检测方法及系统，该方法步骤包括：将划分后数据集的视频解码并采样，获取特征提取区域的RGB图像和YUV图像；将RGB图像输入Xception网络学习，提取颜色特征；YUV图像进行分块DCT变换，得到三维DCT系数并输入频域特征提取网络学习，提取DCT特征；构建短时域模块，获取相邻两帧的一阶差分图像和灰度差值，输入VGG16网络提取梯度特征；将颜色特征、DCT特征和梯度特征拼接得到单帧特征；分别计算待检测视频的连续多帧图像，获得多个单帧特征，输入构建的长时域模块训练，训练后对视频进行分类，判断是否为Deepfake视频。本发明利用多时域模块捕获视频的时域信息，结合多特征对Deepfake视频进行检测，具有较好的检测效果，并提高了泛化能力。

技术领域

本发明涉及Deepfake视频篡改检测技术领域，具体涉及一种多时域多特征结合的Deepfake视频检测方法及系统。

背景技术

Deepfake视频篡改技术是由深度网络模型生成假脸，再由生成的假脸替换真实视频中人脸的一种篡改视频技术。现如今存在多款基于深度网络模型的视频换脸应用程序，如DeepFaceLab、Deep-Faceswap、Deep-Faceswap-GAN等。现有的Deepfake视频检测技术中一种方式是通过单帧RGB图像呈现的颜色特征输入深度神经网络，在库内测试准确率可达90％以上，但跨库性能严重降低，泛化性能差。另一种方式选取其他的篡改特征用于检测，比如眼睛眨眼特征，语音与口型一致性特征，光流场特征等，此类技术由于Deepfake视频篡改技术的进一步提升，已经逐步克服上述眨眼少，语音口型不一致等问题，目前的换脸效果已经达到很高的水平，而此类技术的检测效果不佳，难以满足检测准确率的需求。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种多时域多特征结合的Deepfake视频检测方法及系统，本发明所设计的网络能够准确提取DCT特征、颜色特征和梯度特征，同时利用长短时域模块，提高网络模型的库内检测率和泛化性能。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种多时域多特征结合的Deepfake视频检测方法，包括下述步骤：

划分数据集，并将各个数据集的视频解码为帧序列，并设定间隔进行采样，保存为帧序列S；

检测帧序列S中各帧的人脸区域，作为特征提取区域；

将特征提取区域的RGB图像输入Xception网络进行颜色卷积特征学习，得到颜色卷积特征F_RGB；

对特征提取区域进行分块切分，并对YUV三通道图像进行分块DCT变换，得到三维DCT系数，将三维DCT系数输入频域特征提取网络进行预测，得到DCT卷积特征F_DCT，所述频域特征提取网络包括多个Inverted Residuals模块、卷积层和平均池化层；

构建短时域模块STB，所述短时域模块STB用于获取相邻两帧的一阶差分图像和灰度差值，输入VGG16网络进行梯度特征学习，得到梯度特征F_grad；

将同一帧人脸区域的颜色卷积特征F_RGB、DCT卷积特征F_DCT和梯度特征F_grad进行特征融合获得单帧特征；

构建长时域模块，所述长时域模块包括多层LSTM层和全连接层；

分别计算待检测视频保存的连续多帧图像，获得多个单帧特征，输入长时域模块捕获远程时间上的特征上下文；

采用训练后的长时域模块LTB对待检测视频帧进行预测分类，判断视频是否为Deepfake视频。