[发明专利]一种基于生成对抗网络的多域图像转换方法与系统

摘要

本发明公开了一种基于生成对抗网络的多域图像转换方法与系统，本发明的多域图像转换方法包括输入指定的X、Y两个模态的原图x、原图y；在重建训练部分针对原图x、原图y分别进行编、解压，分别得到原图特征、重建图、重建特征，并进行特征和图的模态鉴别对抗学习；循环训练部分基于前文的原图特征交换模态的编码器生成重建图、重建图特征以及循环重建图，并再次进行特征和图的模态鉴别对抗学习，最终将循环重建图输出。本发明采用半监督学习方法，既可以利用已有的标签数据也可以使用无标签数据，本发明能够实现多向的多域图像转换而不限于单向域转换或双向的二域转换，对域的数量没有限制，能解决图像风格迁移和医学图像多模态转换等问题。

主权项

1.一种基于生成对抗网络的多域图像转换方法，其特征在于实施步骤包括：1)输入指定的X、Y两个模态的原图x、原图y；2)将原图x进行X模态编码得到第一原图特征code_x，将第一原图特征code_x进行X模态解码得到第一重建图x'，将第一重建图x'进行X模态编码得到第一重建特征code_x'；将原图y进行Y模态编码得到第二原图特征code_y，将第二原图特征code_y进行Y模态解码得到第二重建图y'，将第二重建图y'进行Y模态编码得到第二重建特征code_y'；3)将第一原图特征code_x、第一重建特征code_x'进行特征鉴别，将第二原图特征code_y、第二重建特征code_y'进行特征鉴别对抗学习；将原图x、第一重建图x'进行X模态鉴别对抗学习，将原图y、第二重建图y'进行Y模态鉴别对抗学习；4)将第一原图特征code_x进行Y模态解码得到第三重建图y”，将第三重建图y”进行Y模态编码得到第三重建图特征code_y”，将第三重建图特征code_y”进行X模态解码得到第一循环重建图x”'；将第二原图特征code_y进行X模态解码得到第四重建图x”，将第四重建图x”进行X模态编码得到第四重建图特征code_x”，将第四重建图特征code_x”进行Y模态解码得到第二循环重建图y”'；5)将原图x、第四重建图x”进行X模态鉴别对抗学习，将原图y、第三重建图y”进行Y模态鉴别对抗学习；将第一原图特征code_x、第三重建图特征code_y”进行特征鉴别对抗学习，将第二原图特征code_y、第四重建图特征code_x”进行特征鉴别对抗学习；6)计算系统网络总体损失；7)对系统网络总体损失求导，开启反向传播每个损失函数反向逐层计算出各层参数的梯度值，然后根据各层参数梯度更新这些参数，完成本轮迭代，且所述第一循环重建图x”'以及第二循环重建图y”'构成本轮迭代的输出结果。