[发明专利]可重配置神经处理单元的SRAM共享

权利要求书

1.一种神经处理单元NPU的内核，包括：

布置成N行和N列的NPU的N×N阵列，其中N是大于等于2的整数，每个NPU包括存储器和耦接到所述存储器的卷积乘法累加MAC电路，所述存储器能够接收、存储和输出输入特征图IFM值、核值和输出特征图OFM值，

所述NPU的N×N阵列被配置为通过以下步骤处理IFM数据：

存储IFM值阵列的IFM值，使得所述IFM值阵列的IFM值的每个相应行被顺序存储在沿所述NPU的N×N阵列的对角线定位的NPU的相应存储器中；

将存储在位于当前对角线中的每个NPU的存储器中的IFM值广播到与该NPU位于同一行的其他NPU的存储器；

对于所述NPU的N×N阵列的每一行，将广播到该行中的NPU的存储器的IFM值乘以存储在该行中的每个相应NPU的存储器中的核值，以形成该NPU的乘积值PV；

对于所述NPU的N×N阵列的每一列，将列中的所有乘积值PV相加以形成该列的OFM值；

将每个相应OFM值存储在位于当前对角线中的NPU的存储器中；以及

重复广播、乘法、相加和存储，直到所述NPU的N×N阵列的所有对角线都被处理。

2.根据权利要求1所述的NPU的内核，其中，每个OFM值存储在对应于该OFM值的下一层的IFM值的NPU位置中。

3.根据权利要求1所述的NPU的内核，其中，N包括2、4、8、16、32和64中的一个。

4.根据权利要求1所述的NPU的内核，其中，每个NPU的存储器包括静态随机存取存储器SRAM。

5.根据权利要求1所述的NPU的内核，其中，所述N行包括行r_i-r_N，所述N列包括列c_j-c_N，并且所述N个对角线包括对角线d_k-d_N，其中i是1和N之间的整数值，包含1和N，j是1和N之间的整数值，包含1和N，并且k是1和N之间的整数值，包含1和N，

其中，每个对角线包括N个NPU，并且第k个对角线d_k在从行r_i中的第j个NPU朝向行r_i+1和列c_j+1中的NPU的方向上延伸，并且绕到行r_N-i中的NPU。

6.根据权利要求5所述的NPU的内核，其中，存储IFM值阵列的IFM值还包括通过将矩阵A的第i行中的每个IFM值x_i1-x_iN顺序存储在位于所述NPU的N×N阵列的第i个对角线中的NPU的存储器中来接收N×N矩阵A的IFM值x，

其中，广播还包括将存储在对角线d_k中的NPU的存储器中的每个相应IFM值x广播到所述NPU的N×N阵列的行r_k中的每个其他NPU的存储器，

其中，乘法还包括对于所述NPU的N×N阵列的每一行r_i-r_N，将广播到该行中的NPU的存储器的IFM值x乘以存储在该行中的每个相应NPU的存储器中的核值，以形成乘积值PV_ij，其中j表示对应于所述乘积值的列，

其中，相加还包括对于所述NPU的N×N阵列的每一列c₁-c_N，将NPU的第j列中的所有乘积值PV_ij相加以形成所述NPU的N×N阵列的每个相应列的OFM_j值，并且

其中，存储还包括将每个相应OFM_j存储在位于对角线d_k中的NPU的存储器中。

7.根据权利要求1所述的NPU的内核，其中，N包括4，并且

其中，使用NPU中的8位数据路径来处理四个像素的IFM数据。