[发明专利]RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统

权利要求书

1.一种RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，其特征在于，包括下述步骤：

待测视频数据预处理，逐帧提取各视频帧中的人脸区域；

提取人脸区域的RGB三通道图像，对RGB三通道图像进行局部人脸区域遮挡处理；

构建双支路网络模型，所述双支路网络模型包括RGB空域特征提取分支和LoG时域特征提取分支；

将RGB三通道图像和经过局部人脸区域遮挡处理的图像输入到Xception网络中，提取包含空间域信息的RGB空域特征；

对连续帧的RGB三通道图像进行高斯拉普拉斯变换，得到RGB三通道LoG图像序列，利用三维卷积层和Xception网络级联的特征提取网络提取包含时间域信息的LoG时域特征；

将RGB空域特征和LoG时域特征进行拼接，输入全连接层进行特征分类；将训练视频输入双支路网络模型进行训练，保存网络的模型和权重；

采用已训练权重的双支路网络模型对待检测视频进行检测分类，判断视频是否为换脸视频。

2.根据权利要求1所述的RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，其特征在于，所述对RGB三通道图像进行局部人脸区域遮挡处理，具体步骤包括：

对人脸区域进行特征点检测，得到上半脸部区域、下半脸部区域、左半脸部区域和右半脸部区域的特征点；

选择人脸区域的遮挡区域，将特征点连接的封闭区域取值设置为0，剩余区域取值设置为1，得到二值切分掩模Mask，将RGB三通道图像I_RGB与二值切分掩模Mask相乘，得到局部人脸区域遮挡的RGB图像I_Aug，具体表示为：

其中，表示逐元素相乘。

3.根据权利要求1所述的RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，其特征在于，所述对连续帧的RGB三通道图像进行高斯拉普拉斯变换，高斯拉普拉斯算子的具体值表示为：

将各帧RGB三通道图像与高斯拉普拉斯算子进行卷积运算，卷积步长为1，卷积边缘填充为4，高斯拉普拉斯变换对图像进行高斯滤波和拉普拉斯变换，通过高斯拉普拉斯变换完成对通道图像的低频滤波去噪处理及高频边缘特征增强。

4.根据权利要求1所述的RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，其特征在于，所述利用三维卷积层和Xception网络级联的特征提取网络提取包含时间域信息的LoG时域特征，具体步骤包括：

所述三维卷积层对LoG图像序列进行卷积操作，三维卷积核尺寸为t×h×w，其中三维卷积层对视频帧的连续图像进行时间域信息提取，时间步长为1，将三维卷积层的输出作为Xception网络的输入，所述Xception网络采用卷积层、激活函数和池化层构成的深度可分离卷积块进行特征提取，最后提取得到包含时间域信息的LoG时域特征。

5.根据权利要求1所述的RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，其特征在于，所述将RGB空域特征和LoG时域特征进行拼接，输入全连接层进行特征分类，具体步骤包括：

所述RGB空域特征的尺寸为1×1×C₀，所述LoG时域特征的尺寸为1×1×C₁，在通道维度C进行级联拼接，得到尺寸为1×1×(C₀+C₁)的级联特征向量；

构建输出维度为2的全连接层通道，以级联拼接后的特征向量作为输入，输出用于特征分类的2维向量，向量值分别代表预测为换脸图像的概率和预测为真脸图像的概率，通过概率值进行分类。