[发明专利]神经网络处理器中的批处理

权利要求书

1.一种用于针对多个输入中的每个生成相应的神经网络输出的方法，其中所述生成包括经由多个神经网络层中的每个处理每个输入以针对所述输入生成相应的神经网络输出，其中所述神经网络层以有向图结构进行布置，并且其中每个神经网络层具有相应批大小，所述方法包括，针对所述神经网络层的每个：

接收要在所述神经网络层处进行处理的多个输入；

从所述多个输入形成输入的一个或多个批，每个批具有等于所述神经网络层的相应批大小的数个输入；

选择输入的所述一个或多个批中的数个进行处理，其中所述一个或多个批中的数个的输入的计数大于、小于或等于在所述有向图结构中的后续层的相应相关联批大小；以及

对输入的所述一个或多个批中的数个进行处理以生成相应的神经网络层输出，

其中所述相应批大小至少基于权重重用值，所述权重重用值表示在将要长于所述权重输入从存储器的加载时间的、在矩阵计算单元处使用所述权重输入的输出值计算时间内，权重输入需要被重复使用的次数。

2.根据权利要求1所述的方法，其中所述权重重用值至少基于存储所述权重输入的所述存储器的时钟速率。

3.根据权利要求1所述的方法，其中每个批大小至少基于所述权重重用值除以针对所述相应层的权重输入被重复使用的次数。

4.根据权利要求1所述的方法，其中所述多个神经网络层在矩阵处理单元被处理，其中对输入的所述一个或多个批中的数个进行处理包括使用所述矩阵计算单元针对每个输入计算累加值。

5.根据权利要求1至4中的任一项所述的方法，其中每个输入对应于不同的图像资源。

6.根据权利要求1至4中的任一项所述的方法，其中每个输入对应于音频样本。

7.根据权利要求1至4中的任一项所述的方法，进一步包括从所述一个或多个层输出形成批用于在所述后续层处进行处理。

8.根据权利要求1至4中的任一项所述的方法，进一步包括针对每个输出，生成相对应的推理。

9.一种用于针对多个输入中的每个生成相应的神经网络输出的系统，其中所述生成包括经由多个神经网络层中的每个处理每个输入以针对所述输入生成相应的神经网络输出，其中所述神经网络层以有向图结构进行布置，并且其中每个神经网络层具有相应批大小，所述系统包括：

一个或多个计算机；以及

耦合至所述一个或多个计算机并且具有存储于其上的指令的计算机可读介质，当被所述一个或多个计算机执行时，所述指令使得所述一个或多个计算机针对所述神经网络层中的每个执行以下操作，所述操作包括：

接收要在所述神经网络层处进行处理的多个输入；

从所述多个输入形成输入的一个或多个批，每个批具有等于所述神经网络层的相应批大小的数个输入；

选择输入的所述一个或多个输入批中的数个进行处理，其中所述一个或多个批中的数个中的所述输入的计数大于、小于、或等于所述有向图结构中的后续层的相应相关联批大小；以及

对输入的所述一个或多个输入批中的数个进行处理以生成相应的神经网络层输出，

其中所述相应批大小至少基于权重重用值，所述权重重用值表示在将要长于所述权重输入从存储器的加载时间的、在矩阵计算单元处使用所述权重输入的输出值计算时间内，权重输入需要被重复使用的次数。

10.根据权利要求9所述的系统，其中所述权重重用值至少基于存储所述权重输入的所述存储器的时钟速率。

11.根据权利要求9所述的系统，其中每个批大小至少基于所述权重重用值除以针对相应层的权重输入被重复使用的次数。

12.根据权利要求9所述的系统，其中所述多个神经网络层在矩阵处理单元处被处理，其中对输入的所述一个或多个批中的数个进行处理包括使用所述矩阵计算单元针对每个输入计算累加值。