[发明专利]用于生成输出图像的方法和系统

说明书

一种生成具有N像素×N像素的输出分辨率的输出图像的方法，输出图像中的每个像素具有多个颜色通道中的每一个的相应颜色值，该方法包括：获得输出图像的低分辨率版本；通过重复执行以下操作，升级输出图像的低分辨率版本以生成具有输出分辨率的输出图像：获得具有当前K×K分辨率的输出图像的当前版本；使用特定于当前分辨率的卷积神经网络集合处理输出图像的当前版本，以生成具有2K×2K分辨率的输出图像的更新版本。

相关申请的交叉引用

本申请要求2017年2月24日提交的美国临时申请序列号62/463,538的优先权。该在先申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用并入本申请的公开内容中。

技术领域

本说明书涉及使用神经网络生成图像，更具体地，涉及多尺度图像生成。

背景技术

神经网络是机器学习模型，其使用一个或多个非线性单元层来预测针对接收输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层即下一个隐藏层或输出层的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。

发明内容

本说明书描述了使用多个卷积神经网络集合生成输出图像的系统和方法。

通常，本说明书中描述的主题的一个创新方面可以体现在生成具有N像素×N像素的输出分辨率的输出图像的计算机实施的方法中，其中输出图像中的每个像素具有多个颜色通道中的每一个的相应颜色值。该方法包括获得输出图像的低分辨率版本；通过重复执行以下操作，升级(upscale)输出图像的低分辨率版本以生成具有输出分辨率的输出图像：获得具有当前K×K分辨率的输出图像的当前版本；使用特定于当前分辨率的卷积神经网络集合处理输出图像的当前版本，以生成具有2K×2K分辨率的输出图像的更新版本。

前述和其他实施例可以各自可选地单独地或组合地包括以下特征中的一个或多个。

获得低分辨率版本可以包括使用图像生成机器学习模型生成低分辨率版本。图像生成机器学习模型可以是自回归图像生成机器学习模型。输出图像可以以输入上下文(context)为条件，并且其中图像生成机器学习模型被配置为以输入上下文为条件生成低分辨率版本。每个卷积神经网络集合中的每个卷积神经网络可以以输入上下文为条件。

特定于当前分辨率的卷积神经网络集合可以包括其中包括两个或更多个卷积神经网络(convolutional neural network，CNN)的CNN集合，其用于使分辨率变为四倍。特定于当前分辨率的卷积神经网络集合可以包括：第一卷积神经网络，其被配置为接收包括图像的当前版本的第一输入并生成包括来自输出图像的K×2K版本的像素列的第一输出图像；以及第二卷积神经网络，其被配置为接收包括输出图像的K×2K版本的第二输入并生成包括来自输出图像的2K×2K版本的像素行的第二输出图像。

使用特定于当前分辨率的卷积神经网络集合处理输出图像的当前版本以生成更新版本可以包括：使用第一卷积神经网络处理当前版本以生成第一输出图像；通过合并当前版本和第一输出图像来生成K×2K版本；使用第二卷积神经网络处理K×2K版本以生成第二输出图像；并通过合并K×2K版本和第二输出图像来生成2K×2K版本。

合并当前版本和第一输出图像可以包括通过将来自当前版本的像素列与来自第一输出图像的像素列交替，生成包括来自当前图像的K列像素和来自第一输出图像的K列像素的K×2K图像。

合并K×2K版本和第二输出图像可以包括通过将来自K×2K版本的像素行与来自第二输出图像的像素行交替，生成包括来自K×2K版本的K行像素和来自第二输出图像的K行像素的2K×2K图像。