[发明专利]通过潜在空间正则化对监督式生成对抗网络进行优化

说明书

本发明提出了一种训练生成对抗网络(GAN)中的生成器G的方法，包括由编码器E接收目标数据Y；由编码器E接收发生器G的输出G(Z)，其中发生器G在接收随机样本Z后随即生成输出G(Z)，GAN中的鉴别器D受到训练以区分G(Z)和目标数据Y；训练编码器E以最小化输出G(Z)的第一潜在空间表示E(G(Z))与目标数据Y的第二潜在空间表示E(Y)之间的差值，其中输出G(Z)和目标数据Y被输入到编码器E；并使用第一潜在空间表示E(G(Z))和第二潜在空间表示E(Y)来约束发生器G的训练。

本专利申请是申请日为2019年10月29日，申请号为2019110342277，发明名称为“通过潜在空间正则化对监督式生成对抗网络进行优化”的发明专利申请的分案申请。

技术领域

本发明涉及生成对抗网络(GAN)，具体领域为GAN的训练方法。

背景技术

机器学习涉及到计算机在没有明确指令的情况下学习如何执行任务。计算机根据样本数据来构建(如推断出)用于执行任务的模型。当计算机接收到新数据时将使用该模型来执行任务。所述任务可以是分类任务、预测任务、推理任务等。

生成对抗网络(GAN)是可用于生成新数据的一类机器学习系统。例如，GAN可用于生成新图像。例如，在超分辨率领域中，GAN可用于通过低分辨率图像来生成高分辨率图像。例如，在修复领域中，GAN可用于重建图像和/或视频中的丢失或受损部分。GAN还可以用在许多其他应用中，例如用于生成逼真的域特定图像(即生成看起来像是真实的图像)。

发明内容

一方面，本发明提出了一种对生成对抗网络(GAN)中的发生器G进行训练的方法。该方法包括由编码器E接收目标数据Y；由编码器E接收发生器G的输出G(Z)，其中发生器G在接收随机样本Z后随即生成输出G(Z)，并且其中GAN的鉴别器D受到训练以区分G(Z)和目标数据Y；训练编码器E以最小化输出G(Z)的第一潜在空间表示E(G(Z))与目标数据Y的第二潜在空间表示E(Y)之间的差值，其中输出G(Z)和目标数据Y被输入到编码器E；以及使用第一潜在空间表示E(G(Z))和第二潜在空间表示E(Y)来约束发生器G的训练。

第二方面，本发明提出了一种用于训练生成对抗网络(GAN)的发生器G的设备。该设备包括一个存储器和一台处理器。处理器被配置为执行存储在存储器中的指令，以向编码器E输入目标数据Y；向编码器E输入发生器G的输出G(Z)，其中发生器G在接收随机样本Z后随即生成输出G(Z)，并且其中GAN的鉴别器D经过训练以区分G(Z)和目标数据Y；训练编码器E以最小化输出G(Z)的第一潜在空间表示E(G(Z))与目标数据Y的第二潜在空间表示E(Y)之间的差值，其中输出G(Z)和目标数据Y被输入到编码器E；并使用第一潜在空间表示E(G(Z))和第二潜在空间表示E(Y)来约束发生器G的训练。

第三方面，本发明提出了一种用于生成超分辨率图像的设备。该设备包括存储器和实施方法的处理器。该设备实施的方法包括由发生器G接收一个对应于低分辨率图像的输入；从发生器G输出对应于该低分辨率图像的超分辨率图像，其中使用生成对抗网络(GAN)来训练发生器。GAN包括发生器G、编码器E和鉴别器D。编码器E的输出用于约束发生器G的训练。

附图说明

在阅读以下详细描述时参考附图将有助于更好地理解本发明的内容。需要强调的是，根据惯例，图示中各个部分并不是按比例绘制的。相反，为表述清楚起见，已对各个不同部分的尺寸进行任意扩大或缩小。

图1是一个通用的生成对抗网络(GAN)的示例图。

图2是一个可以用于实现神经网络的计算设备的示例框图。

图3是一个GAN生成的数据所产生的一个问题的示例图。

图4是一个图像流形和图像流形的潜在空间的示例图。

图5是根据本发明实施例所绘制的包含一个编码器的GAN架构500的示例图。