[发明专利]一种基于双编码器的生成对抗网络图像翻译方法

权利要求书

1.一种基于双编码器的生成对抗网络图像翻译方法，其特征在于，包括以下步骤：

S1、构建双编码器生成对抗网络模型，所述双编码器生成对抗网络模型包括生成器G、判别器D以及编码器E，其中所述判别器D包括编码部分D_E和分类部分D_C；

S2、从源域中采集样本图像，将所述样本图像分别输入至编码器E和判别器D的编码部分D_E，获得第一编码特征和第二编码特征；以及

S3、将步骤S2获得的所述第一编码特征和第二编码特征进行拼接，将拼接后的特征输入至所述生成器G中，最终获得翻译后的图像。

2.根据权利要求1所述的基于双编码器的生成对抗网络图像翻译方法，其特征在于，在步骤S3中，采用自适应多特征层归一化方法(AdaMFLN)将步骤S2获得的所述第一编码特征和第二编码特征进行拼接，其中，所述自适应多特征层归一化方法(AdaMFLN)是将不同的特征结合起来，自适应的进行层归一化操作。

3.根据权利要求2所述的基于双编码器的生成对抗网络图像翻译方法，其特征在于，在步骤S3中，所述自适应多特征层归一化方法(AdaMFLN)的参数由编码特征图的全连接层动态计算：

式中，x_G和x_D分别表示图像经过生成器G和判别器D所得到的编码，分别为x_G和x_D的层均值，分别为x_G和x_D的层标准差；γ和β是由全连通层产生的参数；具体来说，x_G和x_D首先分别执行AdaptiveAvgPool操作，将得到的特征进行拼接，然后通过两个完全连接的层得到γ和β。

4.根据权利要求2所述的基于双编码器的生成对抗网络图像翻译方法，其特征在于，在步骤S1中，所述生成器G的残差模块加入了所述自适应多特征层归一化方法(AdaMFLN)，所述生成器G的上采样层以及卷积层后加入了所述自适应多特征层归一化方法(AdaMFLN)。

5.根据权利要求1所述的基于双编码器的生成对抗网络图像翻译方法，其特征在于，在步骤S1中，所述生成器G中使用ReLU作为激活函数，所述判别器D使用斜率为0.2的leak-ReLU作为激活函数。

6.根据权利要求1所述的基于双编码器的生成对抗网络图像翻译方法，其特征在于，在步骤S1中，所述双编码器生成对抗网络模型的损失函数表达式为

Loss＝λ₁L_gan+λ₂L_cycle+λ₃L_recon

其中，L_gan表示对抗损失函数；L_cycle表示循环一致损失函数；L_recon表示重建损失函数；λ₁、λ₂、λ₃为超参数，控制各个损失函数的权重。

7.根据权利要求6所述的基于双编码器的生成对抗网络图像翻译方法，其特征在于，所述对抗损失函数的表达式为

其中，X为图像构成的源域，Y为图像构成的目标域；x为从源域中采样的图像，y为从目标域中采样的图像；G_x→y表示将来自源域的图像x经过生成器G转换为目标域的结果；E_y～Y表示图像y来自于目标域Y，E_x～X表示图像x来自于源域X；D_y(y)表示判别器对y的判别结果；D_y(G_x→y(E(x)⊙D_E(x)))表示判别器对G_x→y(E(x)⊙D_E(x))的判别结果；E(x)表示编码器E对x的编码结果；D_E(x)表示判别器D的编码部分D_E对x的编码结果，⊙表示拼接操作。