[发明专利]一种基于自注意力机制的双分支人脸伪造检测方法

说明书

本发明涉及一种基于自注意力机制的双分支人脸伪造检测方法，包括步骤：S1、利用多任务级联卷积神经人脸检测网络获取只包含人脸区域的图像，将其输入随机隐写分析丰富模型SRM中获取噪声图像；S2、将RGB图像和噪声图像分别输入到两个参数不共享的PBoT分支网络中，提取相应的特征；S3、利用双线性池化层对两个网络提取的特征进行融合，并通过全连通层和softmax层来预测输入的人脸图像是否为伪造图像。本发明通过SRM的双分支结构，以捕获视觉伪造伪影及局部噪声特征的不一致性，提高压缩处理后的人脸图像伪造检测准确率；在特征提取中引自注意机制，采用融合卷积和自我注意的混合模型来学习局部和全局图像特征，提高人脸伪造检测准确率。

技术领域

本发明涉及机器视觉和信息安全技术领域，尤其涉及一种基于自注意力机制的双分支人脸伪造检测方法。

背景技术

互联网和社交网络成为人们获取和分享各种媒体的主要平台，其中，以图像和视频为主的数字媒体承载着海量的信息。然而，由于人脸伪造技术的出现，数字媒体内容的真实性面临着巨大的挑战。人脸伪造也被称为深度伪造，是一种利用自编码器或生成对抗网络将目标视频中的人脸替换为源视频中的人脸，从而生成伪造媒体的技术。随着人脸伪造技术的快速发展，伪造视频和图像的生成变得更加容易。虽然这些技术可以用于积极的目的，如电影制作和虚拟现实，但这些伪造的视频或图像更有可能出于恶意在互联网上传播。虚假媒体在互联网和社交网络中的恶意传播，不仅侵犯了受害者的权益，也给社会带来了严重的信任危机和隐患。因此，研究有效的人脸伪造检测方法至关重要。

为了应对人脸伪造威胁，研究人员提出了各种人脸伪造检测方法。早期的研究主要利用手工设计的特征来发现伪造图像与真实图像之间的差异，具有一定的速度优势，但深度神经网络生成的伪造图像难以检测。因此，近期提出的方法直接将从整个图像裁剪的人脸区域作为输入，训练深度卷积神经网络来预测真假。这些方法的性能优于传统方法。然而，面对最先进的人脸伪造生成方法，如DeepFake、Face2Face、FaceSwap和NeuralTextures，这些方法的准确性仍然需要提高。这些伪造方法已经能够隐藏伪造的痕迹，使探测器很难发现细微的伪造伪迹。而且在现实场景的社交媒体中，图像和视频常以不同的压缩比进行压缩，这将使伪造的痕迹受到压缩处理的破坏，难以在RGB域中直接捕获。此外，基于深度卷积网络的方法通过叠加卷积层在计算机视觉任务中取得了显著的效果，因此目前的人脸伪造方法都以卷积网络为骨干结构。然而，卷积运算可以有效地捕获局部信息，但由于受接收域的限制，无法获得全局像素。最新研究表明，自我注意是一个有效的且不需要太多的卷积层叠加的全局像素建模解决方案。因此，探索基于自注意力机制在人脸伪造检测领域的应用是十分必要的。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于自注意力机制的双分支人脸伪造检测方法，通过构建随机隐写分析丰富模型(Steganalysis Rich Model,SRM)的双分支结构，以捕获视觉伪造伪影及局部噪声特征的不一致性，提高压缩处理后的人脸图像伪造检测准确率；此外，在特征提取中引自注意机制，采用融合卷积和自我注意的混合模型来学习局部和全局图像特征，提高人脸伪造检测准确率。

本发明采用以下技术方案来实现：一种基于自注意力机制的双分支人脸伪造检测方法，包括以下步骤：

S1、利用多任务级联卷积神经人脸检测网络获取只包含人脸区域的图像，然后将其输入随机隐写分析丰富模型SRM中获取噪声图像；

S2、将RGB图像和噪声图像分别输入到两个参数不共享的预激活BoT网络即PBoT分支网络中，提取相应的特征，其中，RGB分支用于捕捉视觉伪造伪影，噪声分支通过随机隐写分析丰富模型SRM捕获局部噪声特征的不一致性；

S3、利用双线性池化层对两个网络提取的特征进行融合，利用两个分支的不同特性，并通过全连通层和softmax层来预测输入的人脸图像是否为伪造图像。

本发明与现有技术相比，具有如下优点和有益效果：