[发明专利]用稀疏数据训练神经网络的系统和方法

说明书

公开了用于训练神经网络模型的方法、计算机可读介质和系统。所述方法包括步骤：从包括输入向量和稀疏目标向量的一组训练数据中选择输入向量，其中每个稀疏目标向量包括对应于神经网络模型的输出向量内的样本子集的目标数据。所述方法还包括步骤：通过神经网络模型处理输入向量以针对输出向量内的样本产生输出数据，以及调整神经网络模型的参数值以针对样本子集减小输出向量与稀疏目标向量之间的差。

优先权要求

本申请要求于2017年6月12日提交的题为“用稀疏数据训练神经网络(TRAININGNEURAL NETWORKS WITH SPARSE DATA)”的62/518,435号美国临时申请(代理人案卷号NVIDP1167+/17-HE-0122-US01)的权益，其全部内容通过引用并入本文。

技术领域

本发明涉及训练神经网络，并且更具体地涉及使用稀疏数据来训练神经网络。

背景技术

通常使用反向传播来训练用于图像处理的神经网络，以将神经网络模型的输出(即，预测)与目标图像进行匹配。例如，神经网络模型可以被训练成升档(upscale)图像，从低分辨率图像生成高分辨率图像，或被训练成去噪图像，从有噪声图像产生干净的输出图像。假设可微函数g被描述为具有可训练参数集Θ的神经网络，其将输入向量x＝{x₁,x₂,...,x_n}映射到输出向量

神经网络通过最小化损失函数来训练，

量化目标y＝{y₁,y₂,...,y_m}与神经网络输出之间的误差。

对于图像处理网络来说，L₂标准经常被用作损失函数。生成和存储训练所需的输入和目标对(x，y)的大数据集常常是一个重大挑战。例如，图像处理网络通常用成千上百万图像训练图像处理网络。在离线渲染场景下用路径追踪图像训练时，经常花费数周来生成参考图像和许多兆兆字节的数据存储。计算精确的目标图像是耗时的并且需要很大的数据存储和传输能力。具有解决这些问题和/或与现有技术相关的其他问题的需求。

发明内容

公开了用于训练神经网络模型的方法、计算机可读介质和系统。该方法包括从包括输入向量和稀疏目标向量的训练数据集中选择输入向量的步骤，其中每个稀疏目标向量包括对应于神经网络模型的输出向量内的样本子集的目标数据。该方法还包括通过神经网络模型处理输入向量以针对输出向量内的样本产生输出数据以及调整神经网络模型的参数值以针对样本子集减小输出向量与稀疏目标向量之间的差的步骤。

附图说明

图1A示出了根据一个实施例的用于训练神经网络的方法的流程图；

图1B示出了使用稀疏输入数据和地面实况训练目标的现有技术神经网络训练的示意图；

图1C示出了根据一个实施例的使用稀疏输入数据和稀疏地面实况训练目标的神经网络训练的示意图；

图1D示出了根据一个实施例的用于使用稀疏目标向量来训练神经网络的系统的框图；

图1E示出了根据一个实施例的使用稀疏输入数据和稀疏地面实况训练目标的神经网络训练的另一个示意图；

图1F示出了根据一个实施例的用于使用稀疏输入数据和稀疏地面实况训练目标来训练神经网络的方法的流程图；

图2A示出了根据一个实施例的用于使用稀疏目标向量来训练神经网络的系统的框图；

图2B示出了用于使用输入数据和稀疏地面实况训练目标来训练神经网络的方法的另一个流程图；