[发明专利]调度神经网络处理

权利要求书

1.一种方法，所述方法包括：

接收要在硬件电路上使用神经网络处理的一批神经网络输入，所述神经网络具有以有向图布置的多个层，每个层具有相应的参数集合；

确定所述神经网络层到超层序列的划分，每个超层是所述有向图的包括一个或多个层的划分；

使用所述硬件电路处理所述一批神经网络输入包括，针对所述序列中的每个超层：

将所述超层中的所述层的所述相应的参数集合加载到所述硬件电路的存储器中；以及

针对所述批中的每个神经网络输入：

使用所述硬件电路的所述存储器中的所述参数通过所述超层中的所述层中的每个层处理与所述神经网络输入相对应的超层输入以针对所述神经网络输入生成超层输出。

2.根据权利要求1所述的方法，其中，针对所述序列中的第一超层，与所述神经网络输入相对应的所述超层输入是所述神经网络输入。

3.根据权利要求2所述的方法，其中，对在所述第一超层输出之后的每个超层的所述超层输入是由所述序列中的前一超层生成的超层输出。

4.根据权利要求1至3中任一项所述的方法，其中，使用所述硬件电路处理所述一批神经网络输入包括，针对每个超层：

通过所述超层中的所述层中的每个层按顺序处理与所述一批神经网络输入相对应的所述超层输入，使得在与所述批中的第二神经网络输入相对应的超层输入随后通过所述超层中的所述层中的每个层被处理之前，所述批中的第一神经网络输入的所述超层输入通过所述超层中的所述层中的每个层被处理。

5.根据权利要求1至4中任一项所述的方法，其中，相应的超层的层与工作集合相关联，每个工作集合至少由以下定义：

i)要在所述硬件电路上使用所述神经网络处理的所述一批神经网络输入中的一个或多个输入，或者所述超层的前一层的一个或多个输出；以及

ii)大小参数，所述大小参数指示通过所述超层中的所述层中的每个层处理所述一个或多个输入所需的存储器的量。

6.根据权利要求5所述的方法，其中，确定所述神经网络层到超层序列的所述划分包括：

i)确定至少一个工作集合的特定大小参数；

ii)确定所述硬件电路的所述存储器的特定总计的参数容量；以及

iii)基于以下中的至少一个来确定所述神经网络层到超层序列的所述划分：所述至少一个工作集合的所述特定大小参数或者所述硬件电路的所述存储器的特定总计的参数容量。

7.根据权利要求1至6中任一项所述的方法，其中，所述硬件电路的所述存储器具有阈值存储容量，并且确定所述神经网络层到超层序列的所述划分包括：

基于所述硬件电路的所述存储器的所述阈值存储容量，将所述神经网络层划分为超层序列。

8.根据权利要求7所述的方法，其中，所述神经网络层被划分为超层序列以在所述硬件电路处理所述一批神经网络输入时不超过所述存储器的所述阈值存储容量。

9.根据权利要求1至8中任一项所述的方法，其中，所述一批神经网络输入和所述相应的参数集合从所述硬件电路外部的源被接收，以及其中，通过所述超层中的每个层处理与所述神经网络输入相对应的所述超层输入包括在不接收来自所述外部源的任何附加参数的情况下处理所述超层输入。