[发明专利]基于多时序注意力网络对人脸伪造视频检测方法

权利要求书

1.基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，包括：

对输入的视频序列由起始帧起进行人脸检测、跟踪，识别出同一人脸后存储为待处理的人脸序列；

网络对人脸序列按不同时序采样率降采样，得到浏览序列、审视序列；

对审视序列中的帧提取注意力特征图；

浏览分支网络每次通过卷积操作提取到浏览序列中帧的特征图后，与审视分支网络每一层输出的特征图通过侧向连接融合，融合后特征图作为浏览分支网络下一卷积的输入；审视分支网络每次卷积操作提取到审视序列中帧的特征图后，与对应的注意力特征图相乘后输出；

全连接层对浏览分支网络、审视分支网络各自卷积处理的输出结果融合，最后输出识别结果。

2.根据权利要求1所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，所述浏览分支网络、审视分支网络进行卷积操作的每一层的卷积核大小相同。

3.根据权利要求2所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，所述浏览分支网络进行卷积操作的每一层的卷积核的数量是所述审视分支网络的每一层的卷积核的数量β倍，α×β＝1，浏览序列的长度为审视序列长度的α倍。

4.根据权利要求1所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，所述侧向连接融合采用稠密卷积融合，其实现步骤如下：

对浏览分支网络形成的特征图用3D卷积网络处理,将每一帧的特征图个数降低，然后将得到的特征图与审视分支网络形成的特征图按照对应关系连接，进行融合，得到对应的融合特征图。

5.根据权利要求4所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，所述对浏览分支网络形成的特征图用3D卷积网络处理的采样间隔为1/α，每隔1/α帧取一帧进行处理。

6.根据权利要求1所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，采用预训练的网络来对审视序列中的帧提取注意力特征图。

7.根据权利要求6所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，采用预训练的U-Net网络来对审视序列中的帧提取注意力特征图。

8.根据权利要求7所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，训练的U-Net网络时，基于数据集中真实人脸与伪造人脸存在对应关系，通过正负样本间做差，得到伪造人脸对于真实人脸的伪造区域，从而得到帧的注意力特征图。

9.根据权利要求7或8所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，对所述U-Net网络训练时，引入软注意力标签，将软注意力标签作为真实人脸图像的标签取代真实人脸图像对网络训练，将真实人脸图像表示为R_Image,真实人脸图像压缩率为ρ(0ρ1)，真实人脸图像的软标签表示为S_label，ρ×R_Image代表真实人脸图像压缩ρ倍，即真实人脸图像的分辨率从(W,H)压缩为(ρ×W,ρ×H),真实人脸图像的软标签的表达式如下：

S_label＝(ρ×R_Image)×(1/p)-R_Image。

10.根据权利要求1所述基于多时序注意力网络对人脸伪造视频检测方法，其特征在于，在检测过程中，所述浏览分支网络对人脸序列的扫描帧率大于所述审视分支网络的扫描帧率。