[发明专利]一种针对未配对数据集的图像生成方法及装置

说明书

本发明公开了一种针对未配对数据集的图像生成方法及装置，该方法包括：对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；获取未配对数据集；将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种针对未配对数据集的图像生成方法及装置。

背景技术

Generative Adversarial Networks (GANs)生成对抗网络在图像生成、图像编辑和表示学习等多个领域都取得了令人瞩目的成果。GAN的成功在于对抗性损失的想法，它的主要目的是使生成的图像在理论上和真实照片无法区分，这种思想是计算机视觉领域旨在优化的目标。GAN通过对抗性损失学习源域到目标域的映射，使得生成后的图像与目标域中的图像无法区分。2018年以来，学者们提出了许多图像到图像生成任务的模型，目前主要有两类典型的方法。一类是基于配对数据集学习映射来生成图像，这也是目前效果最好的图像生成算法。因此，目前大多数都是建立在配对训练示例的基础上来学习输入到输出图像的映射，这种系列模型的优点是，这类模型训练得到的结果是图像生成领域的上限。但它们的缺点也很明显，它将依赖于配对的数据集，数据收集成本较高，适用范围比较狭隘。

第二类方法是基于未匹配的数据集，且要求数据集内部的分布一致。这种模型能够基于未配对的数据集进行训练，最终可以达到与配对训练数据集相近的结果，但仍然存在较大的差距。这类算法的优点很明显，对训练数据集限制较少，适用范围更加广泛，是一种相对通用的解决方案。这一类的模型中有些需要依赖输入和输出之间预定义的相似性函数，有些假设输入和输出必须位于相同的低维嵌入空间中。在这个系列的模型中，CycleGAN模型不需要这些假设和限制条件，循环一致性的思想使得该模型在这一系列模型中脱颖而出，但和第一类方法中的模型结果相比还存在不可逾越的差距。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

基于未配对的图像的生成方法应用场景更加广泛。但是与使用配对数据集训练出的模型相比，模型的生成图片的真实性、图像质量等与使用配对数据集训练模型生成的图片存在不可逾越的差距。

发明内容

针对现有技术的不足，本申请实施例的目的是提供一种针对未配对数据集的图像生成方法及装置。

根据本申请实施例的第一方面，提供一种针对未配对数据集的图像生成方法，包括：

对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；

将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；

获取未配对数据集；

将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；

将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。

进一步地，对第一模型进行改进，包括：

将所述第一模型中的循环一致性损失修改为一个分段损失，以去除所述循环一致性损失中的包庇项。

进一步地，所述分段损失为，对于两组内部数据同分布的未配对数据集X和Y：