[发明专利]RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统

说明书

本发明公开了一种RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统，该方法包括下述步骤：逐帧提取各视频帧中人脸区域的RGB三通道图像，将RGB三通道图像和局部人脸区域遮挡的图像输入Xception网络，提取RGB空域特征；对连续帧的RGB三通道图像进行LoG变换，经过三维卷积层和Xception网络提取LoG时域特征；将RGB空域特征和LoG时域特征拼接后输入全连接层进行特征分类；训练网络模型，保存网络的模型和权重；进行检测分类，判断视频是否为换脸视频。本发明通过提取换脸视频中的RGB空域特征和LoG时域特征，结合局部人脸区域遮挡处理，有效提高模型对换脸视频的检测能力和泛化能力。

技术领域

本发明涉及数字视频的篡改检测技术领域，具体涉及一种RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统。

背景技术

随着技术的发展，人脸逐渐成为最具有影响力的生物特征。但近年来由于深度学习技术的应用，针对视频的换脸篡改技术Deepfake在社交网络广泛传播，对社会造成了严重的负面影响，因此研究相应的Deepfake视频检测技术具有十分重要的意义。

而现有的Deepfake视频检测技术主要基于人脸的空间域特征，一类基于传统特征，提取局部空间域特征或全局空间域特征进行检测；另一类基于深度网络，将大量Deepfake视频样本输入到卷积神经网络中，迫使网络学习样本之间共有的空间域特征，Chollect等人在2017年CVPR(International Conference on Computer Vision andPattern Recognition)国际会议上发表论文《Xception:Deep Learning with DepthwiseSeparable Convolutions》，提出了一种基于深度可分离卷积块的Xception网络，能够有效提取图像的空间域特征，被广泛应用于Deepfake视频检测。但现有的Deepfake视频检测方法大多仅在训练数据库内具有较强的检测能力，在不同数据库的跨库测试中检测能力明显下降，存在泛化能力较弱等问题。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，本发明所设计的网络结构能够有效提取换脸视频中帧图像的空间域信息和时间域信息，结合局部人脸区域遮挡处理，能够有效提高检测模型的泛化能力。

本发明的第二目的在于提供一种RGB空域特征与LoG时域特征结合的Deepfake视频检测系统。

本发明的第三目的在于提供一种存储介质。

本发明的第四目的在于提供一种计算设备。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种RGB空域特征与LoG时域特征结合的Deepfake视频检测方法，包括下述步骤：

待测视频数据预处理，逐帧提取各视频帧中的人脸区域；

提取人脸区域的RGB三通道图像，对RGB三通道图像进行局部人脸区域遮挡处理；

构建双支路网络模型，所述双支路网络模型包括RGB空域特征提取分支和LoG时域特征提取分支；

将RGB三通道图像和经过局部人脸区域遮挡处理的图像输入到Xception网络中，提取包含空间域信息的RGB空域特征；

对连续帧的RGB三通道图像进行高斯拉普拉斯变换，得到RGB三通道LoG图像序列，利用三维卷积层和Xception网络级联的特征提取网络提取包含时间域信息的LoG时域特征；

将RGB空域特征和LoG时域特征进行拼接，输入全连接层进行特征分类；将训练视频输入双支路网络模型进行训练，保存网络的模型和权重；