[发明专利]一种基于双编码器的生成对抗网络图像翻译方法

说明书

本发明提出了一种基于双编码器的生成对抗网络图像翻译方法，包括：构建双编码器生成对抗网络模型，双编码器生成对抗网络模型包括生成器G、判别器D以及编码器E，判别器D包括编码部分D_E和分类部分D_C；从源域中采集样本图像，将样本图像分别输入至编码器E和判别器D的编码部分D_E，获得第一编码特征和第二编码特征；将获得的第一编码特征和第二编码特征进行拼接，将拼接后的特征输入至生成器G中，最终获得翻译后的图像。使用编码器和判别器的编码部分对输入图像进行编码，将得到的编码特征进行拼接，为了能将两种编码更好的结合在一起，提出一种新的归一化方法，自适应多特征层归一化方法(AdaMFLN)，通过这种方式能够对图像更好的解耦以及翻译。

技术领域

本发明属于图像翻译的技术领域，具体涉及一种基于双编码器的生成对抗网络图像翻译方法。

背景技术

图像到图像的翻译旨在学习一个函数，映射图像在两个不同的域，这种独特的学习方式衍生出很多视觉任务，如图像修复，超分辨率，着色和风格转移，因此受到了机器学习和计算机视觉领域研究人员的广泛关注。在使用成对的数据集进行翻译时，可以基于条件对抗网络的“图像到图像转换”等进行有监督的图像翻译，而在实际生活中，往往没有大量的成对数据进行训练，取而代之的是仅仅只有两个域的非成对数据，少量目标域样本下的图像翻译模型等则可以在无监督的图像翻译任务中获得了很好的效果。

尽管在无监督的任务上取得了不错的成果，但目前的工作紧紧对图像进行了单一的编码，当我们重新审视当前成功的翻译框架时(例如CycleGAN)，它们大多数由每个域的三个组件组成：一个将输入图像嵌入到低维隐藏空间的编码器，一个将隐藏向量转换为其他域图像的生成器，以及一个利用GAN训练进行域对齐的鉴别器，Reusing Discriminatorsfor Encoding Towards Unsupervised Image-to-Image Translation.2020IEEE/CVFConference on ComputerVision and Pattern Recognition(CVPR)对这些组件进行了重新的设计，抛弃了传统的编码器，利用判别器的编码部分取代，简化了网络提高了翻译效果。然而这些网络结构只考虑了编码器的单一作用。在无监督的图像翻译任务中，判别器与生成器对图像的编码发挥着不同的作用，例如判别器对图像的处理可以分为编码和分类，DCGAN揭示了鉴别器的编码能力：从鉴别器的最后一个卷积层学习到的前6个卷积特征可以观察到对输入图像的强烈响应，而生成器中的编码器则负责对两个域之间进行转移。

基于上述动机，本申请提出了一种基于双编码器的生成对抗网络图像翻译方法，能够将两种编码结果进行融合、实现更好的翻译效果。

发明内容

为了解决现有网络结构只考虑编码器的单一作用、两种编码器所得到的特征很难简单的连接在一起等问题，本申请提供一种基于双编码器的生成对抗网络图像翻译方法，以解决上述技术缺陷问题。

根据本发明的一个方面提出了一种基于双编码器的生成对抗网络图像翻译方法，该方法包括以下步骤：

S1、构建双编码器生成对抗网络模型，双编码器生成对抗网络模型包括生成器G、判别器D以及编码器E，其中判别器D包括编码部分D_E和分类部分D_C；

S2、从源域中采集样本图像，将样本图像分别输入至编码器E和判别器D的编码部分D_E，获得第一编码特征和第二编码特征；以及

S3、将步骤S2获得的第一编码特征和第二编码特征进行拼接，将拼接后的特征输入至生成器G中，最终获得翻译后的图像。