[发明专利]一种伪造人脸视频鉴别方法、系统和可读存储介质

说明书

本发明公开了一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法、系统和可读存储介质，所述方法包括：对输入的视频序列进行采样，得到N个视频帧；对视频帧进行检测、裁剪和对齐人面获得优质人脸图像，得到待测样本集；将所述待测样本集输入至训练好的注意力机制的深度卷积神经网络模型，得到输出的结果，所述结果为对视频真伪情况判断的结果。本发明通过对正样本的特殊处理的方法来获得负样本，减少了获取负样本的时间成本，同时较好地模拟了伪造人脸假视频的人脸图像，以此训练的网络具有较好的鉴别能力；此外本发明还可以突出被操纵的图像区域，从而引导神经网络检测这些区域，这有利于用于面部伪造检测，并提高原CNN模型的准确率。

技术领域

本发明涉及计算机视觉和人工智能领域，具体涉及到一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法、系统和可读存储介质。

背景技术

随着深度学习技术的应用的成熟，以deepfake为主的的深度假视频也越来越火热。这种深度学习技术可以创建换脸视频，从而实现以假乱真。这些虚假视频看起来非常的逼真。到目前为止，这些视频不仅在色情以及言论攻击的情况下被伪造，让人们觉得一些名人在做一些对自身名誉有损的事情，更为惊人的是，深度假视频也被用于冒充政治人物的讲话。美国民主党众议员Adam Schiff更是发出警告称，由Deepfake生成的视频可能会对2020年美国大选产生灾难性影响。因为难以检测和证伪，这种虚假视频很大程度上将对整个社会，私营及公共行业造成重大伤害。

基于人工智能的视频合成算法：新一代基于人工智能的视频合成算法基于新的深度学习模式的最新发展，特别是生成性对抗网络(GANs)。GAN模型由两个串联训练的深层神经网络组成，分别是鉴别器和生成器。训练完成后，利用生成器合成具有真实感的图像。GAN模型启发了许多关于图像合成的后续工作，如：Emily L Denton,Soumith Chintala,RobFergus等人提出了利用laplacian pyramid对抗网络的深度生成图像模型；Alec Radford,Luke Metz,and Soumith Chintala提出了基于深层卷积生成对抗网络的无监督表示学习等等。Ming-Yu Liu等人在2017年提出了一种基于耦合GANs的无监督图像到图像翻译框架，旨在学习不同领域图像的联合表示。该算法是DeepFake算法的基础。DeepFake视频的创建从一个特定个人(“目标”)的输入视频开始，并基于一个GAN模型生成另一个视频，该模型训练用于在目标和源的面部之间转换，目标的面部替换为另一个人的面部(“源”)。

GAN生成的图像/视频检测：传统的伪造可以使用诸如下列方法进行检测：PengZhou等人提出了双流CNN用于人脸篡改检测；NoisePrint等人采用CNN模型跟踪设备指纹进行伪造检测。最近，发现GAN生成的图像或视频也取得了进展。Li等人观察到深度假面缺乏真实眨眼，因为通过互联网获得的训练图像通常不包括受试者的闭上眼睛的照片。因此，用一个CNN/RNN模型通过检测眨眼来用于曝光深度假视频。然而，攻击者只要通过在训练中有目的地合并闭目图像，就可以避免这种检测。Afchar等人训练了一个名为MesoNet的卷积神经网络去直接分类由DeepFake和Face2Face合成的假视频和真实视频。这项工作通过在CNN上合并RNN延长了时域。它显示出良好的性能。但这种方法有它的缺点，它使用基于人工智能的合成算法生成假图像的效率较低，需要较高的时间和设备成本，且鉴别深度人脸伪造视频的准确率有待进一步提高。

发明内容

鉴于上述问题，本发明的目的是提供一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法、系统和可读存储介质，能够以较高的准确率对伪造人脸视频进行鉴别。

本发明第一方面提供了一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，包括以下步骤：

对输入的视频序列进行采样，得到N个视频帧；

对视频帧进行检测、裁剪和对齐人面获得优质人脸图像，得到待测样本集；