[发明专利]调度神经网络处理

说明书

一种计算机实现的方法包括接收要在硬件电路上使用神经网络处理的一批神经网络输入。神经网络具有以有向图布置的多个层并且每个层具有相应的参数集合。所述方法包括确定神经网络层到超层序列的划分。每个超层是有向图的包括一个或多个层的划分。所述方法包括使用硬件电路处理该批输入，其包括：针对序列中的每个超层：i)将超层中的层的相应的参数集合加载到硬件电路的存储器中；以及ii)针对该批中的每个输入，使用硬件电路的存储器中的参数通过超层中的层中的每个层处理输入以生成针对输入的超层输出。

背景技术

本说明书涉及用于执行神经网络计算的存储器管理过程。

神经网络是采用一个或多个操作层以针对接收到的输入生成输出的机器学习模型，所述输出例如是分类。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作对网络中的下一层——即下一隐藏层或网络的输出层——的输入。网络中的层中的一些或全部根据相应的参数集合的当前值从接收到的输入生成输出。

一些神经网络包括一个或多个卷积神经网络层。每个卷积神经网络层具有相关联的核集合。每个核包括由用户创建的神经网络模型建立的值。在一些实施方式中，核标识特定的图像轮廓、形状或颜色。核可以被表示为权重输入的矩阵结构。每个卷积层还可以处理激活输入集合。激活输入集合也可以被表示为矩阵结构。

发明内容

本说明书中描述的主题包括用于接收要在硬件电路上使用神经网络处理的一批神经网络输入的系统和方法。神经网络可以包括以有向图布置的多个层并且每个层可以具有相应的参数集合。根据所描述的技术的方法包括确定神经网络层到超层(superlayer)序列的划分。每个超层可以是有向图的包括一个或多个层的划分。

所描述的方法可以包括：使用硬件电路处理该批输入。例如，处理一批输入可以包括将序列的每个超层中的层的相应参数集合加载到硬件电路的存储器中。另外，针对批中的每个输入，所描述的方法可以包括使用硬件电路的存储器中的参数通过超层中的层中的每个层处理输入以基于输入生成超层输出。

本说明书中描述的主题的一个方面可以体现在计算机实现的方法中。方法包括：接收要在硬件电路上使用神经网络处理的一批神经网络输入，神经网络具有以有向图布置的多个层，每个层具有相应的参数集合；以及确定神经网络层到超层序列的划分，其中每个超层是有向图的包括一个或多个层的划分。

方法进一步包括使用硬件电路处理该批神经网络输入，包括：针对序列中的每个超层：将超层中的层的相应的参数集合加载到硬件电路的存储器中；以及针对批中的每个神经网络输入：使用硬件电路的存储器中的参数通过超层中的层中的每个层处理与神经网络输入相对应的超层输入以针对神经网络输入生成超层输出。

这些和其他实施方式均可以可选地包括以下特征中的一个或多个。例如，在一些实施方式中，针对序列中的第一超层，与神经网络输入相对应的超层输入是神经网络输入。在一些实施方式中，对在第一超层输出之后的每个超层的超层输入是由序列中的前一超层生成的超层输出。

在一些实施方式中，使用硬件电路处理该批神经网络输入包括，针对每个超层：通过超层中的层中的每个层按顺序处理与该批神经网络输入相对应的超层输入，使得在与批中的第二神经网络输入相对应的超层输入随后通过超层中的层中的每个层被处理之前，针对批中的第一神经网络输入的超层输入通过超层中的层中的每个层被处理。

在一些实施方式中，相应的超层中的层与工作集合相关联，其中每个工作集合至少由以下定义：i)要在硬件电路上使用神经网络处理的该批神经网络输入中的一个或多个输入，或者超层的前一层的一个或多个输出；以及ii)大小参数，所述大小参数指示通过超层中的层中的每个层处理一个或多个输入所需的存储器的量。