[发明专利]基于双流自注意力神经网络的图像篡改定位方法及系统

权利要求书

1.基于双流自注意力神经网络的图像篡改定位方法，其特征在于，包括以下步骤：

将待检测定位的输入图像进行约束卷积滤波处理，得到滤波图像；

将所述输入图像和滤波图像分别进行重组编码后，分别输入基于自注意力的第一篡改图像编码器和第二篡改图像编码器中，分别输出第一特征图和第二特征图；其中，所述第一篡改图像编码器和第二篡改图像编码器中分别包括至少3个计算阶段，每个计算阶段包括若干堆叠设置的自注意力模块；

将第一特征图和第二特征图进行拼接后，分别经过通道域和空间域解码，得到篡改区域定位结果。

2.根据权利要求1所述的图像篡改定位方法，其特征在于，所述自注意力模块包括用于获取图像块间的关系信息的多头自注意力计算单元，和用于对图像各通道关系进行自学习加权的多层感知机；所述多头自注意力计算单元中包括若干并行的自注意力计算层，以及用于对并行的自注意力计算层的输出进行拼接和自学习的多头注意力层；

其中所述第一篡改图像编码器与所述第二篡改图像编码器之间不共享可学习参数。

3.根据权利要求2所述的图像篡改定位方法，其特征在于，所述输入图像进行重组编码后得到维度为N×C的二维矩阵Z；将二维矩阵Z输入自注意力计算层进行编码的步骤包括：

将二维矩阵Z分别与三个由维度为C×C的可学习参数构成的自学习矩阵相乘，得到查询矩阵Q、键矩阵K和值矩阵V；

通过内积计算对查询矩阵Q与键矩阵K进行匹配并进行缩放，然后通过softmax函数激活得到归一化的权重矩阵；

通过权重矩阵对值矩阵V进行加权处理，得到自注意力特征图；其表达式如下：

式中，Z^l-1为输入第l层自注意力模块的图像，W_Q、W_K、W_V∈C×C分别为具有可学习参数的矩阵。

4.根据权利要求3所述的图像篡改定位方法，其特征在于，所述多头注意力层进行编码的步骤包括：将并行的自注意力计算层输出的自注意力特征图采用多头注意力机制在通道维度上进行拼接，并在通道维度上与可学习参数矩阵相乘，得到多头注意力特征图；其表达式如下：

式中，SA_m(Z^l-1)表示图像Z^l-1在第m个通道维度的自注意力特征图；m为关系头数；[...；...；...]表示拼接操作；W₀为一个可学习参数矩阵。

5.根据权利要求4所述的图像篡改定位方法，其特征在于，所述多层感知机包括用于编码扩张的第一全连接层，以及用于编码恢复的第二全连接层；所述多层感知机进行编码的步骤包括：

将多头注意力特征图输入所述多层感知机中对各通道关系进行自学习加权；其表达式如下：

式中，表示图像Z^l-1对应的多头注意力特征图；W_L1、W_L2分别为第一全连接层、第二全连接层中具有可学习参数的矩阵，且W_L1∈C×4C，W_L2∈4C×C；Conv_3×3(·)表示进行二维展开后进行3×3的二维卷积；GELU(·)为GELU激活函数。

6.根据权利要求2～5任一项所述的图像篡改定位方法，其特征在于，所述自注意力模块中的多头自注意力计算单元和多层感知机采用残差连接方式连接；其表达式如下：

式中，Z^l-1为输入第l层自注意力模块的图像，为多头自注意力计算单元输出的多头注意力特征图，Z^l为第l层自注意力模块输出的特征图；MSA(·)表示多头自注意力计算单元的编码处理，MLP(·)表示多层感知机的编码处理；LN(·)为归一化函数，用于进行通道上数据归一化。