[发明专利]一种基于注意力生成器网络的无监督非成对图像翻译方法

说明书

本发明公开了一种基于注意力生成器网络的无监督非成对图像方法，步骤为：从源域图像数据集中采样一个batch的图像，并将其输入包含注意力层的生成器中得到输出的生成图像，将目标域图像和生成图像分别放入判别器中计算对比损失；将源域图像和该图像对应的生成图像分别放入包含注意力层的编码器和多层感知器中，得到特征向量；将源域图像对应生成图像相同位置的特征向量作为正样本，将源域图像不同位置的特征向量作为负样本，利用正负样本计算对比损失；最终训练出一个更好的生成器，实现源域到目标域的无监督非成对图像翻译。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于注意力生成器网络的非成对无监督图像翻译技术。

背景技术

图像翻译指的是找到一种映射使得图像可以从源图像域转换到目标图像域，同时在转换的过程中保持源图像域的结构和上下文不变，并替换成目标图像域的风格和纹理。其中映射可以是一个简单的函数，也可以是一个复杂的深度神经网络。图像翻译由于其广阔的应用前景而受到越来越多人的关注，它可以用于图像压缩和超分辨率、图像风格转换、图像恢复、图像去雨和去雾、图像语义生成等。

现在有许多不同的图像翻译任务，根据数据集是否有标注信息，可以分成有监督和无监督图像翻译；根据数据集是否是成对的，可以分成成对和非成对图像翻译。在现实情况下，大多数任务中的数据集都是非成对并且有很少标注信息甚至没有标注信息的。从任务的难度来说，要在非成对且没有标注信息的跨域图像中找到域不变的特征并且替换掉域可变特征是更加困难的。因此非成对无监督的图像翻译更具有挑战性和研究价值。

生成对抗网络(GANs)因能生成拟合数据集分布的图像被用于图像翻译任务，但经典的GANs只靠一个对比损失很难保证训练过程的稳定性和图像在结构上的不变性。几乎在同一时间，基于循环一致性损失的Cyclegan、Dualgan、Discogan被提出来，循环一致假设图像从源域转换为目标域再转换为源域后，这个重构图像能够在像素级上逼近原图像，以此保证转换后的图像在结构上的稳定性。但这种两步(two-sided)的框架导致模型训练时间长，而且要求域与域之间是一种有限制的双射关系。为了摆脱这种限制，各种(一步)one-sided的框架被提了出来。其中将对比表示学习这种范式引入图像翻译的对比无监督图像翻译(CUT)取得了不错的效果，它通过提出基于图像块(patch)的多层PatchNCE损失，最大化输入和输出图像每个patch之间的互信息，训练出了一个更好的编码器(encoder)。如此一来encoder可以专注于两个域之间共性的部分如形状，而忽略两个域之间的差异性部分如纹理。

对比学习是自监督学习中的一种，它指通过学习对两个事物的相似或不相似进行编码来构建表征。通过构建正样本(positive)和负样本(negative)，然后度量正负样本的距离来实现自监督学习。核心思想是样本和正样本之间的相似度远远大于样本和负样本之间的相似度。CUT首先将对比学习的思想引入到图像翻译任务中，实现了one-sided。与一般对比学习不同的是，它的正样本和负样本不是来自图像增强后的结果，也不是一整张图像，而是将生成器输入与输出图像的同一位置的patch作为正样本，将输入图像不同位置的patch作为负样本

注意力机制自提出就受到了广泛的关注，首先在自然语言处理领域被广泛使用，后来有研究者陆续将其运用在计算机视觉领域中，研究者先提出了Image transformer的模型，将自注意力引入到自回归生成模型中用于图像生成。SAGAN则首先将自注意力机制引入GANs中，使得SAGAN能够有效地从图像的内部特征中找到一个全局长跨度依赖的模型。U-GAT-IT将注意力模块添加到它的图像翻译模型中，但需要借助一个辅助的分类器。

发明内容

针对现有技术存在的问题，本发明提出了一种基于注意力生成器网络的无监督非成对图像翻译方法。

本发明可通过以下技术方案予以实现：