[发明专利]具有带有块浮点处理的矩阵矢量单元的硬件节点

权利要求书

1.一种用于神经网络处理的系统，包括：

输入消息处理器，被配置为处理传入消息，其中所述输入消息处理器还被配置为将所述传入消息分为第一组消息和第二组消息；

标量处理器，被配置为处理所述第一组消息；以及

神经功能单元，被配置为处理由所述标量处理器放置在多个队列中的关于至少经由所述第二组消息而接收的输入数据的指令，所述神经功能单元包括：

管线，被配置为处理指令，所述管线包括：矩阵矢量单元；第一多功能单元，其中所述第一多功能单元被连接以从所述矩阵矢量单元接收输入；第二多功能单元，其中所述第二多功能单元被连接以从所述第一多功能单元接收输出；以及第三多功能单元，其中所述第三多功能单元被连接以从所述第二多功能单元接收输出，并且其中所述矩阵矢量单元还被配置为：

接收与神经网络模型的至少一个层相对应的训练矢量数据以使用所述矩阵矢量单元进行处理，其中所述训练矢量数据中的每个训练矢量数据具有以包括至少一个指数的格式表示的值；以及

第一处理所述训练矢量数据的第一子集以确定用于以块浮点格式表示所述训练矢量数据的所述第一子集中的值的第一共享指数，并且第二处理所述训练矢量数据的第二子集以确定用于以块浮点格式表示所述训练矢量数据的所述第二子集中的值的第二共享指数，其中所述处理器还被配置为以如下方式确定所述第一共享指数和所述第二共享指数：没有来自所述训练矢量数据的所述第二子集的矢量数据影响所述第一共享指数的确定，并且没有来自所述训练矢量数据的所述第一子集的矢量数据影响所述第二共享指数的确定。

2.根据权利要求1所述的系统，其中所述矩阵矢量单元还被配置为：

接收输入矢量数据，其中所述输入矢量数据中的每个输入矢量数据具有以包括输入矢量指数的格式表示的值；以及

使用所述第一共享指数和所述输入矢量指数对所述矢量数据的所述第一子集执行第一乘法运算，并且使用所述第二共享指数和所述输入矢量指数对所述矢量数据的所述第二子集执行第二乘法运算。

3.根据权利要求2所述的系统，其中所述矩阵矢量单元还包括累加器，所述累加器用于以块浮点格式累加来自所述第一乘法运算和所述第二乘法运算的任何结果数据。

4.根据权利要求3所述的系统，其中所述矩阵矢量单元还被配置为将所述结果数据从所述块浮点格式转换为浮点格式，并且以所述浮点格式从所述矩阵矢量单元输出转换后的数据。

5.根据权利要求1所述的系统，其中所述矩阵矢量单元还被配置为确定与所述训练矢量数据的所述第一子集的值相对应的指数中具有最大值的第一指数，并且确定与所述训练矢量数据的所述第二子集的值相对应的指数中具有最大值的第二指数。

6.根据权利要求1所述的系统，其中所述训练矢量数据包括矢量数据的N×M矩阵，其中N和M中的每个是大于1的整数，并且其中所述第一子集和所述第二子集中的每个子集包括所述矢量数据的N×M矩阵的一行或所述矢量数据的N×M矩阵的一行的一部分。

7.一种处理器，被配置为：

接收与神经网络模型的至少一个层相对应的矢量数据以使用矩阵矢量单元进行处理，其中所述矢量数据中的每个矢量数据具有以包括至少一个指数的格式表示的值；以及

第一处理所述矢量数据的第一子集以确定用于以块浮点格式表示所述矢量数据的所述第一子集中的值的第一共享指数，并且第二处理所述矢量数据的第二子集以确定用于以块浮点格式表示所述矢量数据的所述第二子集中的值的第二共享指数，其中所述处理器还被配置为以如下方式确定所述第一共享指数和所述第二共享指数：没有来自所述矢量数据的所述第二子集的矢量数据影响所述第一共享指数的确定，并且没有来自所述矢量数据的所述第一子集的矢量数据影响所述第二共享指数的确定。