[发明专利]基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质

说明书

本发明公开了一种基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质，方法包括：将视频数据集划分为训练集和测试集，对每个视频流提取一定的关键帧；对关键帧进行人脸定位，提取保留脸部边缘背景的人脸区域图像；再次检测与定位，获取紧密人脸区域图像；输入到神经网络模型中获取人脸图像的特征表示；使用训练集视频的多个关键帧上的人脸图像特征表示对长短期记忆网络和线性判别器进行训练；将测试集视频的多个关键帧上的人脸图像特征表示作为一组输入，输入到长短期记忆网络中，将最后一个图像对应的输出经过线性判别器，得到检测结果。本发明提供了与设备中现存人脸识别模块接入的可能性，检测用时短，对硬件要求低，可实时高效检测。

技术领域

本发明属于数字视像取证技术领域，具体涉及一种基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质。

背景技术

随着深度学习的蓬勃发展，特别是自编码器和生成对抗网络的不断进化，对视频进行篡改伪造变得更加容易。深度伪造是近年新兴的一类伪造技术，狭义上，其使用深度学习的方法对视频图像中的人脸进行篡改，包括表情再现、属性篡改等。在深度伪造技术中人脸交换是技术较为成熟、危害较为明显的一种。一般而言，人脸交换的实现方式是将源视频中人物的脸通过自编码器等工具与带有侵害性的目标视频中的人物进行表情匹配调整，然后将生成的图像重新拼接回目标视频中，并进行一定的后处理。这种视频篡改除了可用在娱乐用途上，对公民的名誉权存在着潜在的危害，以及存在着虚假新闻等公众安全问题。

深度伪造视频检测技术在视频数字取证技术的研究比重逐渐增加，通过目前研究者的不断努力，所提出的篡改数据集可见伪造痕迹越来越少，质量越来越高，其中人脸交换技术是重点关注对象。目前的深度伪造检测技术以深度学习的方法为主，所使用的输入包括单帧、连续片段和长间隔帧序列等。虽然已有检测方法性能较好，但忽略了对视频流进行解码的预处理操作带来的时间损耗问题，无法实现高效的实时检测；同时忽略了人脸识别领域与人脸交换篡改检测的相关性；另外，已有检测方法的模型的参数量较大，不利于检测方案在现实终端设备的部署。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质，该方法克服了现有的人脸交换篡改视频检测方法存在的时效性较低、参数量较大的缺陷，同时将人脸交换检测与人脸识别领域相结合，实现了高效的检测性能。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于关键帧人脸特征的人脸交换篡改视频检测方法，包括下述步骤：

将视频数据集划分为训练集和测试集，对每个视频流提取设定数量的关键帧；

对提取的关键帧进行人脸定位，提取所有人脸区域图像并保留脸部边缘背景；

对保留脸部边缘背景的人脸区域图像再次检测与定位，获取紧密人脸区域图像；

将紧密人脸区域图像输入到人脸识别任务中训练好的神经网络中，获取人脸图像特征表不；

将训练集视频的多个关键帧上的人脸图像特征表示作为一组输入，对长短期记忆网络和线性判别器进行训练；

将测试集视频的多个关键帧上的人脸图像特征表示作为一组输入，输入到长短期记忆网络中，将最后一个图像对应的输出经过线性判别器，得到检测结果并评估检测性能。

作为优选的技术方案，所述对提取的关键帧进行人脸定位，提取所有人脸区域图像并保留脸部边缘背景，具体为：

对所述关键帧使用多任务卷积神经网络MTCNN人脸检测器，定位所有的人脸区域图像；

对所述人脸区域图像进行裁剪并缩放到240×240的分辨率，并且保留80宽度的脸部边缘背景。