[发明专利]用于对加速分布式处理进行流水线并行的系统和方法

权利要求书

1.一种设备，包括：

存储器，被配置为存储神经网络的第一层的第一数据；

第一电路系统，包括第一多个处理元件(PE)电路，第一多个PE电路被配置为从所述存储器中读取所述第一数据并且使用所述第一数据执行针对所述神经网络的所述第一层的计算以生成第二数据，所述第一电路系统包括多个缓冲区，所述多个缓冲区被配置为将所生成的所述第二数据输出作为到第二电路系统的输入，以执行针对所述神经网络的第二层的计算；以及

所述第二电路系统，包括第二多个PE电路，所述第二多个PE电路被配置为使用所述第二数据执行针对所述神经网络的所述第二层的计算。

2.根据权利要求1所述的设备，其中所述第一多个PE电路被配置为：在所述第二多个PE电路执行针对所述神经网络的所述第二层的计算时，执行针对所述神经网络的至少一个节点的计算；并且优选地，其中所述至少一个节点是来自所述神经网络的第三层或来自所述神经网络的所述第一层。

3.根据权利要求1或2所述的设备，其中所述多个缓冲区被配置为：通过绕过进入或者离开所述存储器的所述第二数据的任何传输，将所生成的所述第二数据输出作为到所述第二电路系统的输入。

4.根据权利要求1、2或3所述的设备，其中所述第二多个PE电路还被配置为使用所述第二数据来生成第三数据；并且优选地，其中所述第二多个PE电路还被配置为：将所生成的所述第三数据存储到所述存储器；和/或优选地，其中所述第二电路系统还包括多个缓冲区，所述多个缓冲区被配置为将所生成的所述第三数据输出作为到第三电路系统的输入。

5.根据权利要求1至4中任一项所述的设备，其中所述第一数据包括针对所述神经网络的所述第一层的权重或激活信息中的至少一个，并且所述第二数据包括针对所述神经网络的所述第二层的权重或激活信息中的至少一个。

6.根据权利要求1至5中任一项所述的设备，其中所述第一多个PE电路被配置为使用所述第一数据来执行卷积运算，并且所述第二多个PE电路被配置为使用所述第二数据来执行点积运算。

7.根据权利要求1至6中任一项所述的设备，其中所述第一电路系统和所述第二电路系统被形成在同一半导体器件上。

8.根据权利要求1至7中任一项所述的设备，其中所述多个缓冲区被配置具有足够的容量来缓冲所生成的所述第二数据，并且将所生成的所述第二数据输出给所述第二电路系统。

9.一种方法，包括：

将针对神经网络的第一层的第一数据存储在存储器中；

由第一多个处理元件(PE)电路从所述存储器中读取所述第一数据；

由第一多个PE电路使用所述第一数据执行针对所述神经网络的所述第一层的计算，以生成第二数据；

由所述第一多个PE电路的多个缓冲区将所生成的所述第二数据输出作为到第二多个PE电路的输入，以执行针对所述神经网络的第二层的计算；以及

由所述第二多个PE电路使用所述第二数据执行针对所述神经网络的所述第二层的计算。

10.根据权利要求9所述的方法，还包括：在所述第二多个PE电路执行针对所述神经网络的所述第二层的计算时，由所述第一多个PE电路执行针对所述神经网络的至少一个节点的计算；并且优选地，其中所述至少一个节点是来自所述神经网络的第三层或来自所述神经网络的所述第一层。

11.根据权利要求9或10所述的方法，包括：由所述多个缓冲区通过绕过进入或者离开所述存储器的所述第二数据的任何传输，将所生成的所述第二数据提供作为到所述第二多个PE电路。