[发明专利]图像生成器的处理方法、图像生成方法及装置

权利要求书

1.一种图像生成器的处理方法，其特征在于，所述方法包括：

获取图像样本集、图像生成器和互信息判别器；所述图像样本集包括源域图像样本和参考图像样本；所述参考图像样本是源域中除所述源域图像样本之外的任一图像样本或是目标域的图像样本；

通过所述图像生成器，生成所述源域图像样本在目标域的目标生成图像；

分别提取所述源域图像样本的第一内容特征、所述参考图像样本的第二内容特征以及所述目标生成图像的第三内容特征；

根据所述第一内容特征和所述第三内容特征生成正样本，并根据所述第一内容特征和所述第三内容特征中的至少一个、及所述第二内容特征生成负样本；

将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。

2.根据权利要求1所述的方法，其特征在于，所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：

通过所述第一内容特征和所述第三内容特征的相对熵，表征所述第一内容特征和所述第三内容特征的互信息；

根据所述第一内容特征和所述第三内容特征的交叉熵，构建所述互信息判别器的判别损失函数；所述交叉熵与所述相对熵正相关；

将所述正样本和所述负样本输入所述互信息判别器，并结合所述判别损失函数对所述图像生成器和所述互信息判别器进行迭代地对抗训练，在对抗训练过程中迭代地优化所述判别损失函数，以及最大化所述互信息。

3.根据权利要求1所述的方法，其特征在于，所述分别提取所述源域图像样本的第一内容特征、所述参考图像样本的第二内容特征以及所述目标生成图像的第三内容特征，包括：

获取源域编码器以及目标域编码器；

通过所述源域编码器将所述源域图像样本编码至特征空间中，得到所述源域图像样本的第一内容特征；

通过所述目标域编码器将所述参考图像样本编码至所述特征空间中，得到所述参考图像样本的第二内容特征，并通过所述目标域编码器将所述目标生成图像编码至所述特征空间中，得到所述目标生成图像的第三内容特征。

4.根据权利要求3所述的方法，其特征在于，所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：

将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器、所述源域编码器、所述目标域编码器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取源域解码器以及目标域解码器；

通过所述源域解码器，将所述源域图像样本的第一内容特征映射至源域，得到第一重建图像；并通过所述目标域解码器，将所述源域图像样本的第一内容特征映射至所述目标域，得到第二重建图像；

基于所述源域图像样本与所述第一重建图像之间的差异构建第一损失函数，并基于所述目标生成图像与所述第二重建图像之间的差异构建第二损失函数；

所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：

将所述正样本和所述负样本输入所述互信息判别器，并结合所述第一损失函数和所述第二损失函数，对所述图像生成器、所述源域编码器、所述目标域编码器、所述源域解码器、所述目标域解码器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。