[发明专利]具有训练生成式对抗网络的模块化基础结构的计算系统

说明书

本申请涉及具有用于培训训练生成式对抗网络的模块化基础结构的计算系统。本公开的示例方面涉及提供用于训练生成式对抗网络(GAN)的模块化基础结构的计算系统。例如，模块化基础结构可以包括轻量级库，其被设计为使训练和评估GAN变得容易。用户可以与模块化基础结构交互和/或依赖于模块化基础结构来轻松地训练GAN。根据本公开的一个方面，模块化基础结构可以包括处理在GAN训练过程的各个阶段和其中的操作的多个不同代码集。代码集可以是模块式的。也就是说，代码集可以被设计为独立存在，但是可容易地且直观地组合。因此，用户可以采用一些或所有代码集，或者可以用自定义代码集替换某个代码集，同时仍然生成可行的组合。

相关申请

本申请要求在2018年10月12日提交的美国非临时专利申请No.16/159,093和在2017年11月6日提交的美国临时专利申请No.62/582,142的优先权和权益。美国非临时专利申请No.16/159,093和美国临时专利申请No.62/582,142通过引用整体并入在此。

技术领域

本公开总体上涉及机器学习。更具体地，本公开涉及提供用于训练生成式对抗网络(generative adversarial network)的模块化基础结构(modularizedinfrastructure)的计算系统。

背景技术

训练机器学习模型(如神经网络)通常涉及定义损失函数(loss function)，该函数告诉模型它与其目标相距多近或多远。例如，图像分类网络通常被赋予损失函数，该函数会对它们给出错误的分类进行惩罚；将狗图片错误标记为猫的网络将获得高损失。然而，并非所有问题都具有容易定义的损失函数，特别是如果它们涉及人类感知。例如，图像压缩没有明确定义的损失函数。相反，大多数压缩系统使用忽略关于全局结构或人类感知的事情的简单损失。类似地，文本到语音系统试图产生听起来“真实”的音频，但在实践中难以产生“听起来真实的音频”的定义。

生成式对抗网络(GAN)为定义显性损失函数的挑战提供了解决方案。GAN是一种机器学习技术，其已经导致改进各种应用，包括从文本生成图像、超分辨率以及帮助机器人学会理解。GAN如此强大的一个原因是它们不需要人类用户来手动指定或定义损失函数，该损失函数例如从人类感知的角度评估损失。相反，GAN学习要学习的内容。

特别地，GAN通常包括两个竞争网络，其通过试图欺骗另一个而随时间改进。生成器网络(generator network)尝试/学习生成合理的输出，而鉴别器网络(discriminatornetwork)尝试/学习将生成器的输出与实际数据区分开。

然而，GAN引入了新的理论和实践挑战，并且有其本身的一系列困难的工程问题。作为一个示例挑战，大多数机器学习基础结构没有对于同时训练多个网络的内置支持。作为另一个示例挑战，GAN通常通过极小极大(minimax)游戏而不是标准优化过程而训练。作为第三个示例挑战，用于评估GAN质量的技术和过程目前不以有意义的方式存在。

发明内容

本公开的实施例的方面和优点将部分地在以下描述中阐述，或者可以从描述学习，或者可以通过实施例的实践来学习。

本公开的一个方面涉及一种计算机系统。所述计算系统包括一个或多个处理器和一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储：第一模块化基础结构代码集，能够由所述一个或多个处理器执行以定义生成式对抗网络的生成器网络和鉴别器网络；第二模块化基础结构代码集，能够由所述一个或多个处理器执行以定义所述生成器网络和所述鉴别器网络的损失；第三模块化基础结构代码集，能够由所述一个或多个处理器执行以生成用于所述生成器网络和所述鉴别器网络的训练操作；以及，第四模块化基础结构代码集，能够由所述一个或多个处理器执行以执行所述训练操作。所述计算系统使用预定义的接口数据结构在所述模块化基础结构代码集之间传递信息。