[发明专利]基于关注的图像生成神经网络

说明书

本申请涉及基于关注的图像生成神经网络。用于生成输出图像的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，所述方法之一包括通过根据来自输出图像的像素‑颜色通道对的生成次序的强度值生成输出图像强度值，包括对于生成次序中的每个特定生成次序位置：生成当前输出图像的当前输出图像表示，使用解码器神经网络处理当前输出图像表示，以生成在特定生成次序位置处的像素‑颜色通道对的可能强度值的概率分布，其中，解码器神经网络包括一个或更多局部掩蔽自我关注子层；并使用概率分布选择在特定生成次序位置处的像素‑颜色通道对的强度值。

技术领域

本说明书涉及使用神经网络生成图像。

背景技术

神经网络是机器学习模型，其使用一个或多个非线性单元层来预测对于所接收输入而言的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作对于在网络中下一层即下一个隐藏层或输出层的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。

发明内容

本说明书描述了实现为在一个或多个位置中的一个或多个计算机上的计算机程序的系统，其生成输出图像。特别地，系统使用基于关注(attention)的解码器神经网络生成输出图像。

本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。

已经示出基于关注的神经网络在序列处理任务上执行良好，该任务例如是涉及处理顺序输入、自动回归地生成次序输出或两者的任务。然而，对于在给定输出或输入序列中的每个位置，基于关注的神经网络中的自我关注(self-attention)层关注(至少)序列中的所有先前位置。这使得基于关注的神经网络难以应用于需要生成输出图像的任务。虽然图像可以表示为颜色值的序列，但图像由大量颜色值组成。例如，32x 32x 3(RGB)图像具有超过3,000个颜色值，从而产生非常长的序列表示。另外，图像具有二维(并且对于彩色图像，三维)结构，其难以表示为一维序列。

所描述的技术允许由基于关注的神经网络通过下述方式有效地生成图像：(i)有效地表示由神经网络处理的图像，以及(ii)修改应用于神经网络中的自我关注层的自我关注方案。因为这一点，用于生成图像的神经网络生成高质量图像，并且即使在生成大图像时也是在计算上有效的，即，不消耗过多的处理能力或存储器。另外，因为神经网络仍然是基于关注的，所以可以有效地并行化神经网络(以及在某些情况下推断)的训练，减少训练神经网络所需的计算资源和时间的量。

在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了示例神经网络系统。

图2A是示出由解码器神经网络的子网中的关注子层应用的关注机制的图。

图2B示出了局部1D关注方案和局部2D关注方案。

图3是用于生成输出图像的示例过程的流程图。

各附图中相似的附图标号和名称表示相似的元件。

具体实施方式

本说明书描述了实现为在一个或多个位置中的一个或多个计算机上的计算机程序的系统，其生成输出图像。输出图像包括以二维映射排列的多个像素，每个像素对于多个颜色通道中的每一个具有相应的强度值。例如，图像可以是每个像素具有三个颜色通道的RGB图像：红色、绿色和蓝色。