[发明专利]使用鉴别器神经网络从生成器神经网络采样

说明书

方法，系统和装置，包括编码在计算机存储介质上的计算机程序，用于响应于针对数据样本的请求而提供数据样本。在一个方面，一种方法包括：接收针对新数据样本的请求；以及直到生成满足接受标准的候选的新数据样本为止，执行以下操作，包括：使用生成器神经网络生成候选的新数据样本；使用鉴别器神经网络处理候选的新数据样本以生成模仿分数；以及根据模仿分数，确定候选的新数据样本是否满足接受标准；以及响应于接收的请求，提供满足接受标准的候选的新数据样本。

技术领域

本说明书涉及使用机器学习模型处理数据。

背景技术

机器学习模型接收输入，并且基于接收的输入生成输出，例如，预测输出。一些机器学习模型是参数模型，并且基于接收的输入和模型参数的值生成输出。

一些机器学习模型是深度模型，其采用多层模型来为接收的输入生成输出。例如，深度神经网络是一种深度机器学习模型，包括输出层和一个或多个隐藏层，每个隐藏层将非线性转换(transformation)应用于接收的输入以生成输出。

发明内容

本说明书描述了一种实施为生成数据样本(例如，图像、音频片段或文本片段)的一个或多个位置上的一个或多个计算机上的计算机程序的系统。

根据第一方面，提供了一种由一个或多个数据处理装置执行的方法，所述方法包括：接收对新数据样本的请求。直到生成满足接受标准的候选的新数据样本为止，所述方法包括使用生成器神经网络生成候选的新数据样本。使用鉴别器神经网络处理候选的新数据样本以生成模仿分数。鉴别器神经网络已被训练为生成数据样本的模仿分数，所述模仿分数表征数据样本是(i)从给定数据样本的训练集合中抽取还是(ii)由生成器神经网络生成的可能性。根据模仿分数，确定候选的新数据样本是否满足接受标准。响应于接收的请求，提供满足接受标准的候选的新数据样本。

在一些实施方式中，生成器神经网络生成的候选的新数据样本是图像。

在一些实施方式中，根据模仿分数确定候选的新样本是否满足接受标准包括：根据模仿分数确定接受分数；通过从数值范围上的概率分布采样来获得控制样本；以及如果接受分数具有高于控制样本的值，则确定候选的新数据样本满足接受标准。

在一些实施方式中，根据模仿分数确定接受分数包括：通过将边界变量的当前值确定为(i)边界变量的先前值和(ii)模仿分数中的最大值来更新边界变量的值；以及根据模仿分数和更新的边界变量来确定接受分数。

在一些实施方式中，根据模仿分数和更新的边界变量来确定接受分数包括：将接受分数确定为σ(a)，其中，σ(·)为S(sigmoid)形函数，其中，a定义为：a∶＝D-D_M-log(1-exp(D-D_M))，其中，D是模仿分数，其中，D_M是边界变量的当前值。

在一些实施方式中，根据模仿分数和更新的边界变量来确定接受分数包括：将接受分数确定为σ(a-γ)，其中，σ(·)为S形函数，其中，γ为数值，其中，a定义为：a∶＝D-D_M-log(1-exp(D-D_M-∈))，其中，D是模仿分数，其中，D_M是边界变量的当前值，并且其中，∈是为数值稳定性所添加的常数。

在一些实施方式中，所述方法还包括将数值γ确定为先前确定的接受分数的预定百分比。

在一些实施方式中，通过从数值范围上的概率分布采样来获得控制样本包括：通过从范围[0,1]上的均匀概率分布采样来获得控制样本。

在一些实施方式中，鉴别器神经网络已使用逻辑损失函数进行了训练。

在一些实施方式中，使用S形函数处理模仿分数定义从给定数据样本的训练集合中抽取数据样本的概率。