[发明专利]一种基于自注意力机制的双分支人脸伪造检测方法

权利要求书

1.一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，包括以下步骤：

S1、利用多任务级联卷积神经人脸检测网络获取只包含人脸区域的图像，然后将其输入随机隐写分析丰富模型SRM中获取噪声图像；

S2、将RGB图像和噪声图像分别输入到两个参数不共享的预激活BoT网络即PBoT分支网络中，提取相应的特征，其中，RGB分支用于捕捉视觉伪造伪影，噪声分支通过随机隐写分析丰富模型SRM捕获局部噪声特征的不一致性；

S3、利用双线性池化层对两个网络提取的特征进行融合，利用两个分支的不同特性，并通过全连通层和softmax层来预测输入的人脸图像是否为伪造图像。

2.根据权利要求1所述的一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，步骤S1中的随机隐写分析丰富模型SRM的具体实现过程如下：

S11、随机隐写分析丰富模型SRM将若干不同的子模型组合成一个丰富的噪声分量模型，其中，子模型由线性和非线性高通滤波器得到的噪声残差相邻样本的联合分布形成；

S12、对若干个基本滤波器的输出进行量化和截断，并提取附近的同现信息作为最终特征作为局部噪声描述子；

S13、采用若干个基本滤波器对输入图像进行滤波；

S14、在若干个随机隐写分析丰富模型SRM核函数中随机挑选若干个核函数进行局部噪声特征提取，并将随机隐写分析丰富模型SRM过滤器层的内核大小设置为5×5×3，输出通道大小设置为3。

3.根据权利要求1所述的一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，步骤S2中预激活BoT网络结合了自我注意机制和ResNet的Bottleneck Transformer混合模型，并利用预激活机制对BoT进行改进。

4.根据权利要求3所述的一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，预激活BoT网络使用相同的连接形状PBoT单元调用构建PBoT块。

5.根据权利要求4所述的一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，PBoT块结构为ResNet残差块将3×3卷积层替换为多头自注意力层MHSA，采用MHSA层替换c5的卷积层；在对全局图像进行卷积处理的同时，对捕捉到的特征图信息进行自我注意处理。

6.根据权利要求5所述的一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，在ResNet和BoT中，每个单元用以下公式表示：

y_l＝H(x_l)+F(x_l,W_l)

x_l+1＝f(y_l)

其中，x_l和x_l+1为第l个残差单元的输入和输出，W_l为参数；残差函数定义为F，H为单位映射：H(x_l)＝x_l；函数f是元素添加后的操作，为ReLU函数；将PBoT中的函数f设置为一个恒等映射f(y_l)＝y_l；重新排列激活函数ReLU和BN用于身份映射；将BN层和ReLu层放在权重层之前；PBoT单元写为：

x_l+1＝x_l+F(x_l,W_l)。

7.根据权利要求1所述的一种基于自注意力机制的双分支人脸伪造检测方法，其特征在于，步骤S3中双线性池化的具体实现过程如下：

S31、利用紧凑双线性池融合RGB分支和噪声分支的特征，将压缩后的双线性池化层输出如下：

其中，f_r为RGB支路特征，f_n为噪声支路特征；

S32、将步骤S31中的输出进行矢量化和归一化，如下所示：

S33、通过全连通和softmax层得到二值预测结果。