[发明专利]基于Transformer的软融合鲁棒图像水印方法

说明书

本发明提供了基于Transformer的软融合鲁棒图像水印方法，包括：构建基于Transformer的端到端水印模型；其中，所述端到端水印模型包括：编码器、解码器、噪声层和鉴别器；将原始图像和原始水印输入所述编码器进行编码，获取编码图像；将所述编码图像输入所述噪声层进行噪声添加，获取噪声图像；将所述噪声图像输入所述解码器进行水印提取，获取解码后的水印；基于所述鉴别器，对所述编码图像进行鉴别。本发明在获得高质量的编码图像的同时，能够抵抗大部分的图像攻击，与现有技术方法相比，性能更好。

技术领域

本发明水印技术领域，尤其涉及基于Transformer的软融合鲁棒图像水印方法。

背景技术

水印技术是通过将秘密消息隐藏到多媒体中来保护版权或跟踪信息泄露的关键解决方案。图像鲁棒水印的目标是将水印不可见地嵌入到图像中，并希望能够从编码后的图像中完全提取水印，即使图像是失真的。因此，不可感知性和鲁棒性是鲁棒水印方法的两个必要要求。

在过去的几年里，许多传统的基于变换域的鲁棒水印方法被提出，这些方法尝试挖掘鲁棒图像特征进行水印嵌入。然而，这些图像特征是人工提取的，不能代表各种图像的主要能量，可能导致鲁棒性差。由于深度神经网络(DNN)可以从不同的图像数据集中学习鲁棒图像特征，因此提出了一些基于DNN的水印模型来提高水印性能。

现有的基于DNN的水印模型通常采用编码器-噪声层-解码器架构作为主骨干，如图1的(a)所示。编码器将水印嵌入到图像中，解码器尝试恢复水印。在最先进的方法中，如Hidden和TSDL，水印被复制并分布在整幅图像上，以增加鲁棒性，然后水印与原始图像的特征直接融合，如图1的(b)所示，得到编码后(带水印)的图像，称为硬融合。但是，有两个缺点限制了相应的性能。(1)水印的简单复制操作会产生过多的冗余，从而降低图像质量。(2)由于水印和原始图像来自不同的域，硬融合将两种具有远距离关系的不同模态连接在一起，而不调整水印特征向原始图像的结构或细节靠拢，从而导致图像失真和鲁棒性差。为了解决第一个缺点，如图1的(c)所示，提出的一个水印处理器模块，将水印扩展到图像上。然而，该处理器仍然不能解决两种不同模态之间的差距，因此水印的不可见性和鲁棒性仍然有限。

据所知，上述已有的水印模型都是采用硬融合作为水印嵌入，只有在融合后，通过学习卷积运算的映射函数，调整水印分布，使编码后的图像接近原始图像，抵御不同的图像攻击。然而，卷积运算只有一个有限的感受野，因此很难建模水印与原始图像之间的远程依赖关系。此外，卷积滤波器在推理时具有静态权重，因此不能灵活调节不同图像的水印融合。为了解决上述缺点，我们需要弥补原始图像与水印之间的模态差距，并捕获它们的跨模态特征依赖，进行水印融合。

近年来，由于其有效的表示学习，transformer已成功应用于计算机视觉和自然语言任务。由于transformer可以获得两种不同模态之间的远程相互作用，并建立自注意机制来指导模态融合，因此仍然可以在水印模型中使用transformer结构，以提高水印性能。然而，到目前为止，基于transformer的水印模型鲜有报道。

发明内容

为解决上述技术问题，本发明提出了基于Transformer的软融合鲁棒图像水印方法；本发明在获得高质量的编码图像的同时，能够抵抗大部分的图像攻击，与现有技术方法相比，性能更好。

为实现上述目的，本发明提供了基于Transformer的软融合鲁棒图像水印方法，包括：

构建基于Transformer的端到端水印模型；其中，所述端到端水印模型包括：编码器、解码器、噪声层和鉴别器；

将原始图像和原始水印输入所述编码器进行编码，获取编码图像，完成水印融合；

将所述编码图像输入所述噪声层进行噪声添加，获取噪声图像；

将所述噪声图像输入所述解码器进行水印提取，获取解码后的水印；