[发明专利]基于多尺度交互和跨特征对比学习的图像篡改检测方法

说明书

本发明属于图像检测技术领域，提供了一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，能够在图像伪造数据集以及不和谐化数据集进行定位。包括以下步骤：构建输入图像，将待定位图像输入到骨干网络中提取特征；多尺度特征交互得到多阶段特征；不和谐区域的像素设为正例，将背景像素设为负例，同时将采样到每个特征大小进行正负的特征向量的选择，根据正样本的数量对负样本进行随机采样，将采样得到的特征向量进行对比学习损失约束，同时将多阶段的特征进行正负样本的混合进行对比学习损失约束；将相邻特征两两融合，通过特征的收缩注意来完成特征的融合；多损失函数联合训练。

技术领域

本发明涉及一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，属于图像检测技术领域。

背景技术

随着人们生活水平的提高，多媒体已经渗透到各个领域，数字图像已经成为媒体传播的重要载体。然而，随着越来越多的图像编辑工具的出现，操纵图像也变得越来越容易。图像编辑会导致原始信息被曲解，容易造成恐慌、干扰等问题，相对于复杂的篡改方法，简单的伪造技术如图像拼接等方法数量巨大，应用最为广泛，而这种简单的拼接技术往往会由于相机导致图像伪造的区域与整体区域产生光照统计上的不一致，我们将它们称为不和谐区域，而随着互联网的发展，这种不和谐图像的产生日益增多，传播迅速，占有主体地位，而目前对于图像伪造领域检测方法中，由于篡改类型种类繁多，篡改方式不停的迭代，关于通用篡改中伪造先验的共性信息很难得到有效的定义，我们希望化繁为简，仅针对这种存在颜色差异明显线索的不和谐图像进行定位，即通过目前最广泛也是最容易产生的颜色伪造的差异信息来寻找伪造区域的共性信息进行不和谐伪造区域的定位。同时也进一步帮助图像篡改定位实现优越的性能，图像不和谐定位可以说是图像篡改定位的子任务之一。目前有的方法使用多尺度信息来挖掘不和谐区域，但是这种方法仅仅是对于语义分割的延伸，并没有针对不和谐定位任务设计，也存在方法根据光照不一致来增大图像前景与背景的差异，但是在特征提取定位网络却没有任何改善，我们认为不和谐区域还是经过预操作产生的，本质上还是伪造的区域，这些区域之间还是会存在某种共性信息，我们希望探索这种信息来进行定位。

发明内容

本发明目的是提供了一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，能够有效地在图像伪造数据集以及不和谐化数据集进行定位。

本发明为实现上述目的，通过以下技术方案实现：

一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，包括以下步骤：

S1.构建输入图像，将待定位图像输入到骨干网络中提取特征：

原始图像同时随机添加图像抖动，作为主干网络的输入，将不同尺度大小的图像与特征提取的网络权重共享，放入骨干网络，在四个阶段分别提取图像特征，其中每个阶段在三个输入的情况下产生三个大中小的特征；

S2.多尺度特征交互得到多阶段特征：

将每个阶段的三个特征进行多尺度特征交互，大特征进行下采样，小特征进行上采样得到同样的大小，通过多尺度权重约束相加得到最终的特征；

S3.跨特征对比学习：

将GroundTruth中不和谐区域的像素设为正例，将背景像素设为负例，同时将GroundTruth下采样到每个特征大小进行正负的特征向量的选择，根据正样本的数量对负样本进行随机采样，将采样得到的特征向量进行对比学习损失约束，同时将多阶段的特征进行正负样本的混合进行对比学习损失约束；

4)特征收缩融合解码：

将相邻特征两两融合，通过特征的收缩注意来完成特征的融合；

5)多损失函数联合训练：

最后解码得到最终的预测图像与GroundTruth做像素级的损失监督，与对比学习联合训练优化网络。