[发明专利]低时延矩阵乘法部件

权利要求书

1.一种矩阵乘法部件，所述矩阵乘法部件被配置为执行神经网络的神经网络计算，所述矩阵乘法部件被实施为脉动单元阵列，所述脉动单元阵列是以二维格式来布置的，所述单元阵列中的每个单元包括：

权重矩阵寄存器，所述权重矩阵寄存器被配置为接收来自转置权重移位寄存器的对所述神经网络的第一权重输入或者来自非转置权重移位寄存器的对所述神经网络的第二权重输入；

所述转置权重移位寄存器，所述转置权重移位寄存器被配置为接收来自所述二维格式的第一方向的要被存储在所述权重矩阵寄存器中的所述第一权重输入；

所述非转置权重移位寄存器，所述非转置权重移位寄存器被配置为接收来自所述二维格式的第二方向的要被存储在所述权重矩阵寄存器中的所述第二权重输入，所述第二方向垂直于所述第一方向；以及

乘法部件，所述乘法部件耦合至所述权重矩阵寄存器并且被配置为使接收到的权重输入与对所述神经网络的矢量数据输入相乘以获得乘法结果。

2.根据权利要求1所述的矩阵乘法部件，其中，每个单元进一步包括：

多路复用器，所述多路复用器被配置为在所述第一权重输入和所述第二权重输入之间进行选择并且将所选择的权重输入转发至所述权重矩阵寄存器。

3.根据权利要求1所述的矩阵乘法部件，进一步包括第一权重保持寄存器，所述第一权重保持寄存器被配置为保持所述第一权重输入和所述第二权重输入中的一个。

4.根据权利要求3所述的矩阵乘法部件，进一步包括第二权重保持寄存器，所述第二权重保持寄存器被配置为保持所述第一权重输入和所述第二权重输入中的另一个。

5.根据权利要求4所述的矩阵乘法部件，其中，从所述转置权重移位寄存器将所述第一权重输入加载到所述第一权重保持寄存器中，并且从所述第二方向将所述第二权重输入加载到所述第二权重保持寄存器中。

6.根据权利要求5所述的矩阵乘法部件，其中，所述权重矩阵寄存器被加载有来自所述第一权重保持寄存器和所述第二权重保持寄存器中的一个的所述第一权重输入和所述第二权重输入中的一个。

7.根据权利要求6所述的矩阵乘法部件，其中，所述权重矩阵寄存器中的数据用于任意数量的乘法周期。

8.根据权利要求7所述的矩阵乘法部件，其中，在所述数量的乘法周期期间，将附加权重输入移位到所述权重移位寄存器中，以准备用于下一个乘法集合。

9.根据权利要求7所述的矩阵乘法部件，其中，在所述数量的乘法周期期间，使所述权重矩阵寄存器中存储的另一个权重输入与另一个矢量数据输入相乘以获得另一个乘法结果。

10.根据权利要求1所述的矩阵乘法部件，其中，所述矢量数据输入每时钟周期移动一个多单元。

11.根据权利要求1所述的矩阵乘法部件，其中，当接收到指令时，基于所述指令移位所述第一权重输入和所述第二权重输入。

12.根据权利要求1所述的矩阵乘法部件，其中，所述转置权重移位寄存器在物理上与所述非转置权重移位寄存器分开。

13.根据权利要求1所述的矩阵乘法部件，其中：

所述第一权重输入是从所述阵列中的另一个单元在沿所述第一方向的第一有线路径；并且

所述第二权重输入是从所述阵列中的另一个单元在沿所述第二方向的第二有线路径。