[发明专利]一种针对未配对数据集的图像生成方法及装置

权利要求书

1.一种针对未配对数据集的图像生成方法，其特征在于，包括：

对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型，所述第一模型为针对未配对图像数据集的生成模型，选自 CycleGAN、CoGAN、StarGAN、UNIT，所述第二模型中的第一子模型和第二子模型均为针对配对图像数据集的生成模型，选自Pix2pix、DiscoGAN、DRAGAN、DualGAN、BicycleGAN、BiGAN、SimGAN；

将两组内部具有相同数据分布的未配对图像数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对图像数据集分别训练改进后的第一子模型和第二子模型，其中，当达到全目标损失在预定范围内波动或训练次数达到预定阈值后暂停第一模型的训练；所述第一子模型的第二生成器的生成结果可以骗过所述第一子模型的第二鉴别器时停止所述第一子模型的训练；所述第二子模型的第三生成器的生成结果可以骗过所述第二子模型的第三鉴别器时停止第二子模型的训练；

获取未配对图像数据集；

将所述未配对图像数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成图像数据集和第二生成图像数据集；

将所述第一生成图像数据集和第二生成图像数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成图像数据集和第四生成图像数据集作为最终生成结果；

其中，对第一模型进行改进，包括：将所述第一模型中的循环一致性损失修改为一个分段损失，以去除所述循环一致性损失中的包庇项；

所述分段损失为，对于两组内部数据同分布的未配对图像数据集X和Y：

当所述第一模型在学习映射X→Y时，使用前向循环一致性损失；

当所述第一模型在学习映射Y→X时，使用反向循环一致性损失；

其中，对第二模型进行改进，包括：

将改进后的第一模型中相应的对抗性损失乘以预先设置的权重因子，分别加入到所述第一子模型和第二子模型的全目标函数中。

2.根据权利要求1所述的方法，其特征在于，将两组内部具有相同数据分布的未配对图像数据集作为改进后的第一模型的输入，训练改进后的第一模型，包括：

构建两组内部数据同分布的未配对图像数据集X和Y，将其作为改进后的第一模型的输入，学习映射X→Y和映射Y→X；

通过对抗性损失、恒等映射损失和改进后的循环一致性损失来优化改进后的第一模型，当达到全目标损失在预定范围内波动或训练次数达到预定阈值后暂停模型的训练，输出与未配对图像数据集X配对的第一假图片集和与未配对图像数据集Y配对的第二假图片集B。

3.根据权利要求1所述的方法，其特征在于，通过改进后的第一模型训练完成后输出的两对配对图像数据集训练改进后的第二模型，包括：

将配对图像数据集（X,A）作为所述第二模型中第一子模型的第二生成器的输入，以使得所述第二生成器学习映射X→A，通过改进后的全目标函数更新所述第一子模型的第二鉴别器，直至所述第二生成器的生成结果可以骗过所述第二鉴别器时，停止训练；

将配对图像数据集（B,Y）作为所述第二模型中第二子模型的第三生成器的输入，以使得所述第三生成器学习映射B→Y，通过改进后的全目标函数更新所述第二子模型的第三鉴别器，直至所述第三生成器的生成结果可以骗过所述第三鉴别器时，停止训练。