[发明专利]基于多时序注意力网络对人脸伪造视频检测方法

说明书

本发明公开一种基于多时序注意力网络对人脸伪造视频检测方法，通过一个审视分支网络将从审视序列的帧中注意力特征图作为特征图权重信息，通过卷积操作检测审视序列中待处理帧中的伪影；通过一个浏览分支网络通过卷积操作检测浏览序列中待处理帧的连贯性，同时与所述的审视分支网络在每一层的输出通过侧向连接融合；最后由全连接层对浏览分支网络、审视分支网络各自卷积处理的输出结果融合，最后输出识别结果，保证了人脸检测的有效性且大大提升了检测效率。

技术领域

本发明涉及伪造视频检测技术领域，特别是涉及一种基于多时序注意力网络对人脸伪造视频检测方法。

背景技术

人脸伪造视频检测技术，是由输入设备(本地摄像头、Web摄像头等)将数据(包括视频流媒体、图像序列、图像、视频等)输入到训练好的人脸检测器中，利用训练好的人脸检测器对输入数据进行逐帧人脸检测，提取每帧图像中的人脸面部区域；将提取到的人脸面部区域输入到二分类卷积网络中(Real/Fake)，由面部伪造鉴别模型对输入的人脸面部区域进行真伪判别。

随着GAN生成网络技术的不断发展，生成的面部伪造图像越来越逼真，针对视频数据的深度伪造检测技术最近几年受到了越来越多的关注，伪造检测和安全性防范系统中，需要对视频流中的人脸进行伪造检测以识别其中的人脸的真伪，以满足用户对人脸伪造视频甄别的要求。

然而目前的检测方法要么只关注于视频帧内部的信息，要么对视频帧间的扰动过于敏感。总之，现有上述的常规的人脸伪造视频检测技术已难以适应检测要求，现有人脸伪造检测技术尚有待进一步提高，以进一步的满足检测的需要。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于多时序注意力网络对人脸伪造视频检测方法。

为实现本发明的目的所采用的技术方案是：

一种种基于多时序注意力网络对人脸伪造视频检测方法，包括步骤；

对输入的视频序列由起始帧起进行人脸检测、跟踪，识别出同一人脸后存储为待处理的人脸序列；

网络对人脸序列按不同时序采样率降采样，得到浏览序列、审视序列；

对审视序列中的帧提取注意力特征图；

浏览分支网络每次通过卷积操作提取到浏览序列中帧的特征图后，与审视分支网络每一层输出的特征图通过侧向连接融合，融合后特征图作为浏览分支网络下一卷积的输入；审视分支网络每次卷积操作提取到审视序列中帧的特征图后，与对应的注意力特征图相乘后输出；

全连接层对浏览分支网络、审视分支网络各自卷积处理的输出结果融合，最后输出识别结果。

优选的，所述浏览分支网络、审视分支网络进行卷积操作的每一层的卷积核大小相同。

优选的，所述浏览分支网络进行卷积操作的每一层的卷积核的数量是所述审视分支网络的每一层的卷积核的数量β倍，α×β＝1，浏览序列的长度为审视序列长度的α倍。

优选的，所述侧向连接融合采用稠密卷积融合，其实现步骤如下：

对浏览分支网络形成的特征图用3D卷积网络处理,将每一帧的特征图个数降低，然后将得到的特征图与审视分支网络形成的特征图按照对应关系连接，进行融合，得到对应的融合特征图。

优选的，所述对浏览分支网络形成的特征图用3D卷积网络处理的采样间隔为1/α，每隔1/α帧取一帧进行处理。

优选的，采用预训练的网络来对审视序列中的帧提取注意力特征图。

更优选的，采用预训练的U-Net网络来对审视序列中的帧提取注意力特征图。