[发明专利]用于神经网络处理的具有矩阵-向量相乘区块的硬件节点

权利要求书

1.一种用于评估系统中的神经网络模型的方法，所述系统包括经由网络互连的多个节点，其中每个节点包括多个区块，所述方法包括：

经由入口树接收N乘M系数矩阵，其中所述N乘M系数矩阵被配置成控制所述神经网络模型，其中N是等于或大于8的整数，并且M是等于或大于8的整数；

将所述N乘M系数矩阵的第一行存储在第一片上存储器中，并且将所述N乘M系数矩阵的第二行存储在第二片上存储器中，所述第一片上存储器被并入所述多个区块中的第一区块内，所述第二片上存储器被并入所述多个区块中的第二区块内；

使用第一计算单元来处理经由所述入口树接收的所述N乘M系数矩阵的所述第一行和第一组输入向量，所述第一计算单元被并入所述多个区块中的所述第一区块内；以及

使用第二计算单元来处理经由所述入口树接收的所述N乘M系数矩阵的所述第二行和第二组输入向量，所述第二计算单元被并入所述多个区块中的所述第二区块内。

2.根据权利要求1所述的方法，其中处理所述第一行还包括：对所述N乘M系数矩阵的所述第一行和所述第一组输入向量执行第一逐点点积运算。

3.根据权利要求2所述的方法，还包括：经由出口树输出由所述第一逐点点积运算生成的第一组输出值，所述出口树被耦合到所述多个区块中的每个区块。

4.根据权利要求1所述的方法，其中处理所述第二行还包括：对所述N乘M系数矩阵的所述第二行和所述第二组输入向量执行第二逐点点积运算。

5.根据权利要求4所述的方法，还包括：经由出口树输出由所述第二逐点点积运算生成的第二组输出值，所述出口树被耦合到所述多个区块中的每个区块。

6.根据权利要求1所述的方法，其中所述N乘M系数矩阵包括与所述神经网络模型相对应的权重。

7.根据权利要求1所述的方法，其中所述第一组输入向量和所述第二组输入向量中的每组输入向量包括输入向量的运行时值和输入向量的过去值。

8.一种包括多个区块的硬件节点，所述硬件节点包括：

入口树，被配置成接收N乘M系数矩阵，其中所述N乘M系数矩阵被配置成控制神经网络模型，其中N是等于或大于8的整数，并且M是等于或大于8的整数；

第一片上存储器，被并入所述多个区块中的第一区块内，所述第一片上存储器被配置成存储所述N乘M系数矩阵的第一行；

第二片上存储器，被并入所述多个区块中的第二区块内，所述第二片上存储器被配置成存储所述N乘M系数矩阵的第二行；

第一计算单元，被并入所述多个区块中的所述第一区块内，所述第一计算单元被配置成处理经由所述入口树接收的所述N乘M系数矩阵的所述第一行和第一组输入向量；以及

第二计算单元，被并入所述多个区块中的所述第二区块内，所述第二计算单元被配置成处理经由所述入口树接收的所述N乘M系数矩阵的所述第二行和第二组输入向量。

9.根据权利要求8所述的硬件节点，其中所述第一计算单元还被配置成：对所述N乘M系数矩阵的所述第一行和所述第一组输入向量执行第一逐点点积运算。

10.根据权利要求9所述的硬件节点，还包括出口树，所述出口树被耦合到所述多个树中的每个树，并且还被配置成输出由所述第一逐点点积运算生成的第一组输出值。

11.根据权利要求8所述的硬件节点，其中所述第二计算单元还被配置成：对所述N乘M系数矩阵的所述第二行和所述第二组输入向量执行第二逐点点积运算。

12.根据权利要求11所述的硬件节点，还包括出口树，所述出口树被耦合到所述多个树中的每个树，并且还被配置成输出由所述第二逐点点积运算生成的第二组输出值。

13.根据权利要求8所述的硬件节点，其中所述N乘M系数矩阵包括与所述神经网络模型相对应的权重。