[发明专利]基于双流深度神经网络的数字图像伪造区域定位方法

说明书

本发明公开一种基于双流深度神经网络的数字图像伪造区域定位方法，主要解决现有图像伪造检测方法普适性不高，图像伪造关键特征提取缺失，伪造图像重要特征信息的遗漏问题。本发明实现的步骤为：构建包括编码器、特征融合模块和解码器的双流深度神经网络；编码器由两个子特征提取器实现双流的特征提取；利用由多种类型图像伪造样本组成的训练集，训练双流深度神经网络，对数字图像伪造区域进行定位。由于本发明使用双残差块、单残差块、特征融合模块提取并学习图像的伪造特征，实现了对数字图像伪造区域定位的能力，提高了图像伪造区域定位的准确性与效率。

技术领域

本发明属于数字信息安全技术领域中的基于双流深度神经网络的数字图像伪造区域定位方法。本发明可用于在互联网环境中检测并判断数字图像内容的安全性，定位互联网数字图像的伪造区域，能够为版权保护、侵权追溯、虚假新闻鉴定提供重要的依据。

背景技术

图像伪造亦称篡改是对图像内容的一种攻击模式，通常包括全局篡改攻击和局部篡改攻击。全局篡改是对图像进行模糊操作、翻转、添加噪声等，只影响图像的视觉效果而不改变图像的上下文信息。局部篡改攻击可分为传统意义上的伪造攻击与基于深度学习的伪造攻击。传统的图像伪造攻击的类型包括拼接、复制-粘贴以及删除伪造。基于深度学习的伪造攻击一般指的是通过生成式对抗模型对图像中的特定目标进行替换，如利用人工智能技术换脸、利用生成式对抗模型修图等。目前的数字图像伪造区域定位的准确率较低、普适性较弱、抵抗复杂攻击的能力较弱。

河北工业大学在其拥有的专利技术“一种被拼接篡改的图像的检测方法”(申请号：201911325073.7，授权公告号：CN111062931B)中提出了一种使用双通道的卷积神经网络来检测并定位拼接类型的伪造图像的方法。该方法利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征，结合多尺度信息，将两组多阶段特征进行融合和上采样，得到金字塔特征图，将金字塔特征图不同层分别经过区域生成网络，得到篡改候选区域,经过ROIAlign生成固定尺寸特征图，对固定尺寸特征图进行分类、边界框回归和掩码预测，最后得到篡改区域的边界框和像素级定位，完成对被拼接篡改的图像的检测。该方法虽然克服了现有技术提取的图像篡改特征单一不全面，容易忽略区域较小的篡改目标，不能实现端到端的像素级定位的缺陷。但是，该方法仍然存在的不足之处是：该方法只能用于定位拼接类型的伪造图像，该方法无法处理目前已知的图像伪造类型包括的拼接、复制-移动、删除等其他的伪造类型。

重庆邮电大学在其申请的专利文献“一种基于双流卷积神经网络的图像篡改检测方法”(申请号：202110266702.4，申请公布号：CN 113129261 A)中提出了一种基于双流卷积神经网络的图像篡改检测方法。该方法的实现步骤为：1)搜集并整理公开的篡改图像样本；2)对篡改图像样本进行标注获得这些篡改图像样本的标签以完成图像篡改数据集的构建；3)利用搜集到的图像篡改数据集对双流的卷积神经网络进行训练；4)利用训练得到的模型对其他的篡改图像进行测试，得到最终效果。该方法虽然利用双流的卷积神经网络训练得到的模型可以对现实中的篡改图像进行检测。但是，该方法仍然存在的不足之处是：仅使用了两个卷积神经网络分别提取图像的篡改特征，而缺少对于图像伪造区域边缘的学习，导致图像伪造关键特征提取缺失的问题。

Zhou等在其发表的论文“Learning Rich Features for Image ManipulationDetection”(2018 IEEE/CVF Conference on Computer Vision and PatternRecognition(CVPR)IEEE)中设计了一种双流神经网络的数字图像伪造定位方法。该方法的重要贡献是设计了SRM滤波器对于数字图像进行特征预处理，有效提升了模型进行图像伪造定位的能力。该方法存在的不足之处是：在对双流子网络进行特征融合时采用了传统的双线性池化方法，该方法无法部署在CPU上运算，因此增加了模型训练的时间。此外，双线性池化使用主成分分析等方法进行降维，因此会损失神经网络提取到的一些关键特征信息。

发明内容