[发明专利]基于关注的图像生成神经网络

权利要求书

1.一种自动回归地生成输出图像的方法，所述输出图像包括以二维映射排列的多个像素，每个像素具有用于多个颜色通道中的每一个颜色通道的相应颜色值，并且所述方法包括：

通过根据来自所述输出图像的像素-颜色通道对的生成次序的强度值生成所述输出图像强度值，包括对于所述生成次序中的每个特定生成次序位置：

生成当前输出图像的当前输出图像表示，其中，所述当前输出图像包括对于在生成次序中的所述特定生成次序位置之前的生成次序位置处的像素-颜色通道对的已经生成的强度值；

使用解码器神经网络处理所述当前输出图像表示，以生成在所述特定生成次序位置处的所述像素-颜色通道对的可能强度值的概率分布，其中，所述解码器神经网络包括解码器子网序列，每个解码器子网包括解码器自我关注子层，所述解码器自我关注子层被配置为针对每个特定生成次序位置：

接收在所述特定生成次序位置之前的每个生成次序位置的输入，并且对于每个所述特定生成次序位置：

使用从在所述特定生成次序位置处的所述输入导出的一个或多个查询，在所述特定生成次序位置之前的所述生成次序位置处的输入上应用掩蔽的局部关注机制，以生成所述特定生成次序位置的更新表示；以及

使用所述概率分布选择在所述特定生成次序位置处的所述像素-颜色通道对的强度值。

2.根据权利要求1所述的方法，其中，生成所述输出图像以条件输入为条件，并且其中，生成当前输出图像的当前输出图像表示包括：

用所述条件输入的表示来增强所述当前输出图像表示。

3.根据权利要求1所述的方法，其中，生成所述输出图像以条件输入为条件，并且其中，生成当前输出图像的当前输出图像表示包括：

使用编码器神经网络处理所述条件输入以生成包括在多个条件表示位置中的每一个条件表示位置处的相应编码向量的顺序条件表示；以及

其中，使用所述解码器神经网络处理所述当前输出图像表示包括：使用所述解码器神经网络处理所述当前输出图像表示和所述顺序条件表示。

4.根据权利要求3所述的方法，其中，每个解码器子网包括：

编码器-解码器关注子层，所述编码器-解码器关注子层被配置为针对每个特定生成次序位置：

接收在所述特定生成次序位置之前的每个生成次序位置的输入，并且对于所述生成次序位置中的每个生成次序位置：

使用从所述生成次序位置的所述输入导出的一个或多个查询，对在所述条件表示位置处的所述编码向量应用关注机制，以生成用于所述生成次序位置的更新表示。

5.根据前述权利要求中任一项所述的方法，其中，所述解码器子网中的至少一个解码器子网包括：

逐个位置前馈层，所述逐个位置前馈层被配置为对于每个特定生成次序位置：

对于所述特定生成次序位置之前的每个生成次序位置：

接收在所述生成次序位置处的输入，并且

对在所述生成次序位置处的所述输入应用变换序列，以生成用于所述生成次序位置的输出。

6.根据权利要求5所述的方法，其中，所述序列包括由激励函数分开的两个学习的线性变换。

7.根据权利要求5或6中任一项所述的方法，其中，所述至少一个解码器子网还包括：

剩余连接层，所述剩余连接层将所述逐个位置前馈层的输出与所述逐个位置前馈层的输入组合以生成剩余输出，以及

层标准化层，所述层标准化层对所述剩余输出应用层标准化。