[发明专利]生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质

说明书

本发明公开了一种生成图像溯源模型训练方法，包括以下步骤：将生成图像输入至生成器以获取对应该生成图像的一指纹；将该指纹添加至随机选取的一真实图像上，得到一带指纹图像；将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。

技术领域

本发明涉及数字图像取证领域，特别涉及一种生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质。

背景技术

生成对抗网络(Generative Adversarial Network,GAN)的发展使得生成图像越来越逼真，这给视觉取证带来了巨大的挑战。

近年来，研究人员在生成图像检测上进行了大量的研究。然而，真假检测并不是终点，对于恶意和违法的内容，执法人员需要识别其所有者；对于生成模型的开发人员来说，设计生成模型需要经验丰富的研究人员进行大量的试错实验，有些生成模型具有很高的商业价值，应该予以保护。为了达到这些目的，需要对GAN生成图像进行溯源。

在之前的工作中，一些研究人员采用平均噪声图像作为GAN指纹，其结果显示每种GAN模型在其生成图像上都会留下特定的指纹。一些研究人员将GAN指纹解耦为模型指纹和图像指纹，具体地，将模型的输出特征作为图像指纹，最后一层的参数作为模型指纹，然后通过图像与模型指纹的点积运算来实现GAN生成图像的溯源。一些研究人员采用基于频率域的方法，将离散余弦变换(Discrete Cosine Transform,DCT)转换后的图像作为分类器的输入，用于GAN生成图像来源的检测。

现有的技术方案存在以下缺陷:第一，如何可视化GAN指纹仍然是一个悬而未决的问题。尽管有研究人员提出用平均噪声和自编码器的重建残差作为指纹，但是其提取的指纹包含很多冗余的噪声，从中难以观察不同的GAN生成图像的区别和相同的GAN生成图像的共性。第二，现有工作大多采用直接多分类的框架进行溯源，在没有额外约束的情况下，直接分类抽取的特征中可能包括许多与内容相关的信息，然而，合格的GAN指纹与生成内容无关。尽管基于直接多分类的方法学习到的表示足以检测与训练数据同分布的图像，但它在其他数据训练出的GAN模型上泛化差。

发明人在对生成图像溯源的研究中，发现现有技术中GAN指纹的可视化方法会包含很多冗余的噪声，而且在同结构但不同数据训练的GAN模型上泛化性较差。发明人经过研究发现，内容无关的特征有助于可视化GAN指纹和提高溯源的泛化性。因此，本发明提出了一个多任务的指纹提取框架，从GAN生成的图像中解耦出GAN指纹，并同时抽取出GAN模型的内容无关表示用于溯源。

发明内容

为了解决上述问题，本发明的主要目的在于提出一种生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质，能够从GAN生成图像中解耦出GAN指纹，并同时抽取出GAN模型的内容无关表示用于溯源，从而有助于可视化GAN指纹和有效提高溯源的泛化性。

为了实现上述目的，本发明提出一种生成图像溯源模型训练方法，包括以下步骤：

将生成图像输入至生成器以获取对应该生成图像的一指纹；

将该指纹添加至随机选取的一真实图像上，得到一带指纹图像；

将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。

为了实现上述目的，本发明还提出一种生成图像溯源模型训练装置，包括：

指纹生成单元，用于将生成图像输入至生成器以获取对应该生成图像的一指纹；

带指纹图像获取单元，用于将该指纹添加至随机选取的一真实图像上，得到一带指纹图像；

第一训练单元，将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。

为了实现上述目的，本发明还提出一种生成图像溯源方法，包括以下步骤：