[发明专利]人脸伪造视频检测方法、系统、设备与存储介质

说明书

本发明公开了一种人脸伪造视频检测方法、系统、设备与存储介质，上述方案在频域对于相位信息提取处理后反变换回空域，结合空域图像用以提取空间相位特征，设计了合理的浅层学习方法学习局部纹理特征，极大提高了模型的可迁移性和可解释性；上述方案在DeepFake人脸伪造视频检测任务中表现优异，在跨数据集的检测中达到了最好的效果。此外，还为伪造视频检测乃至其他计算机视觉任务提供了新的思路方法，有利于后续工作发展。

技术领域

本发明涉及人脸伪造视频检测技术领域，尤其涉及一种人脸伪造视频检测方法、系统、设备与存储介质。

背景技术

DeepFake人脸伪造视频已经成为当今互联网上传播最为广泛的媒体之一。由于深度学习在计算机视觉任务中取得了巨大成功，利用自编码器(Auto Encoder)和生成对抗网络(Generative Adversarial Networks)等进行图像生成都是近年来迅速发展起来的应用。随着图像生成技术的愈发先进及相关数据算法的易获得性，高质量的DeepFake人脸伪造视频更容易被制作并且能够轻易欺骗人类。然而这些伪造技术很可能被滥用于恶意目的，造成严重的安全和伦理问题，因此DeepFake人脸伪造视频检测的方法应运而生。以前的工作中，DeepFake检测主要专注于在高质量的特定数据条件下，如何较好地区分同源数据的真伪。

目前存在的图像级别的DeepFake检测工作主要分为两类：空域检测和频域检测。基于空域图像的方法虽然已经在某些条件下取得了非常好的效果，但是这类方法要么非常依赖于分布一致的数据集，要么对伪造视频的质量要求非常高，真实场景的伪造视频通常是低质量高噪声，很大程度上掩盖了伪造过程产生的伪影，因此这类方法存在一定的局限性。而之前基于频域的检测工作，大多仅仅从幅度谱上去提取特征，但实际上幅度谱并不能直接表征频域包含的信息量，导致没有完全利用频域的信息，因此基于频域的检测尚处于初等阶段，值得进行更深入的研究和探索。

DeepFake人脸伪造视频通常是保留原有的人脸身份信息属性特征，因此真伪视频表达的语义信息几乎没有差别。对于传统的利用深度神经网络进行图像分类的模型,通常网络结构都较深,感受野比较大，全局语义信息得到了更多的关注，因此从某种意义上来说反而提取到了一些不利于分辨真伪的特征。因此考虑到DeepFake人脸伪造视频的特有性质，需要进行神经网络结构的设计，通过设计合理的神经网络结构并配合更通用的频域信息，从而形成鲁棒的DeepFake人脸伪造视频检测方法，可以避免互联网中非法DeepFake人脸伪造视频的遭到大肆传播，具有重要的实际应用价值。

发明内容

本发明的目的是提供一种人脸伪造视频检测方法、系统、设备与存储介质，结合空域和频域的鲁棒解决方案，并在真实场景中保证高召回率和低漏检率。

本发明的目的是通过以下技术方案实现的：

一种人脸伪造视频检测方法，包括：

对于预训练的用于人脸伪造视频检测的神经网络模型，移除中间部分的卷积层；

对于输入的人脸视频图像，逐帧进行相位谱信息的提取，并将每一人脸图像帧与相应的相位谱信息一并输入至神经网络模型的第一层卷积层，由神经网络模型输出人脸视频图像的检测结果。

一种人脸伪造视频检测系统，用于实现前述的方法，该系统包括：

模型构造单元，用于对于预训练的用于人脸伪造视频检测的神经网络模型，移除中间部分的卷积层；

信息提取与检测单元，用于对于输入的人脸视频图像，逐帧进行相位谱信息的提取，并将每一人脸图像帧与相应的相位谱信息一并输入至神经网络模型的第一层卷积层，由神经网络模型输出人脸视频图像的检测结果。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。