[发明专利]多时域多特征结合的Deepfake视频检测方法及系统

权利要求书

1.一种多时域多特征结合的Deepfake视频检测方法，其特征在于，包括下述步骤：

划分数据集，并将各个数据集的视频解码为帧序列，并设定间隔进行采样，保存为帧序列S；

检测帧序列S中各帧的人脸区域，作为特征提取区域；

将特征提取区域的RGB图像输入Xception网络进行颜色卷积特征学习，得到颜色卷积特征F_RGB；

对特征提取区域进行分块切分，并对YUV三通道图像进行分块DCT变换，得到三维DCT系数，将三维DCT系数输入频域特征提取网络进行预测，得到DCT卷积特征F_DCT，所述频域特征提取网络包括多个Inverted Residuals模块、卷积层和平均池化层；

构建短时域模块STB，所述短时域模块STB用于获取相邻两帧的一阶差分图像和灰度差值，输入VGG16网络进行梯度特征学习，得到梯度特征F_grad；

将同一帧人脸区域的颜色卷积特征F_RGB、DCT卷积特征F_DCT和梯度特征F_grad进行特征融合获得单帧特征；

构建长时域模块，所述长时域模块包括多层LSTM层和全连接层；

分别计算待检测视频保存的连续多帧图像，获得多个单帧特征，输入长时域模块捕获远程时间上的特征上下文；

采用训练后的长时域模块LTB对待检测视频帧进行预测分类，判断视频是否为Deepfake视频。

2.根据权利要求1所述的多时域多特征结合的Deepfake视频检测方法，其特征在于，所述将特征提取区域的RGB图像输入Xception网络进行颜色卷积特征学习，得到颜色卷积特征F_RGB，具体步骤包括：

将特征提取区域调整为统一大小的RGB图像，并进行归一化处理，作为特征检测区域的颜色特征数据，选取Xception网络的最后一层平均池化层输出张量作为学习到的颜色卷积特征F_RGB。

3.根据权利要求1所述的多时域多特征结合的Deepfake视频检测方法，其特征在于，所述对特征提取区域进行分块切分，并对YUV三通道图像进行分块DCT变换，得到三维DCT系数，具体步骤包括：

读取特征提取区域的RGB三通道图像，获取特征提取区域的YUV三通道图像，得到I_Y，I_U，I_V的图像，对YUV三通道图像进行不规则大小m₁×m₂的分块切分，其中m₁是指将图像横坐标切分为m₁块，m₂是指将图像纵坐标切分为m₂块，对I_Y，I_U，I_V图像的m₁×m₂个分块分别做二维DCT变换，将YUV三通道的各个分块的DCT变换幅度频谱按照原来分块位置进行拼接得到三维DCT系数。

4.根据权利要求3所述的多时域多特征结合的Deepfake视频检测方法，其特征在于，所述二维DCT变换具体计算公式为：

其中，(i，j)表示图像中像素点的二维坐标，f(i，j)表示该坐标下图像的像素值，N表示图像的宽，F(u，v)为提取的DCT系数。

5.根据权利要求3所述的多时域多特征结合的Deepfake视频检测方法，其特征在于，所述二维DCT变换采用矩阵处理方式，具体计算公式为：

F＝AfA^T

其中，F表示DCT系数矩阵，f表示图像像素矩阵，(i，j)表示图像中像素点的二维坐标，N表示图像的宽。