[发明专利]利用链接指令的神经网络处理

说明书

提供了用于神经网络处理的硬件和方法。提供了一种在包括流水线的硬件节点中的方法，该流水线具有：矩阵矢量单元(MVU)；被连接以接收来自矩阵矢量单元的输入的第一多功能单元；被连接以接收来自第一多功能单元的输出的第二多功能单元；以及被连接以接收来自第二多功能单元的输出的第三多功能单元。该方法包括使用MVU执行第一类型指令，该第一类型指令只能由MVU执行以生成第一结果。该方法还包括执行第二类型指令，该第二类型指令只能由多功能单元之一执行，并且生成第二结果，并且在不将两个结果中的任何一个存储在全局寄存器中的情况下，将第二结果传递给第二多功能和第三多功能单元。

背景技术

神经网络技术被用来执行诸如阅读理解、语言转换或语音识别之类的复杂任务。虽然神经网络可以执行这样的任务，但是使用通用CPU或通用GPU来部署神经网络是很昂贵的。另外，虽然相对于CPU，GPU提供增加的吞吐量，但它们具有较差的延迟。

发明内容

在一个示例中，本公开涉及一种在包括全局寄存器和流水线的硬件节点中用于处理指令的方法，该流水线包括：矩阵矢量单元，该矩阵矢量单元包括至少一个累加器寄存器；第一多功能单元，其中第一多功能单元被连接以接收来自矩阵矢量单元的输入；第二多功能单元，其中第二多功能单元被连接以接收来自第一多功能单元的输出；以及第三多功能单元，其中第三多功能单元被连接以接收来自第二多功能单元的输出。该方法可以包括经由全局寄存器从输入队列接收第一类型指令，其中第一类型指令只能由矩阵矢量单元执行，并且由矩阵矢量单元执行第一类型指令并将第一类型指令的第一结果存储在至少一个累加器寄存器中。该方法还可以包括经由全局寄存器从输入队列接收第二类型指令，其中第二类型指令只能由第一多功能单元、第二多功能单元或第三多功能单元中的至少一个执行，并且使用第一多功能单元执行第二类型指令，其中该执行包括对至少第一类型指令的第一结果执行操作并生成第二结果。该方法可以进一步包括在不将第一结果或第二结果存储在全局寄存器中的情况下，将第二结果传递给第二多功能单元，并且在那之后将第二结果传递给第三多功能单元。

在另一示例中，本公开涉及一种硬件节点，包括全局寄存器和被配置为处理指令的流水线，该流水线包括：矩阵矢量单元，该矩阵矢量单元包括至少一个累加器寄存器；第一多功能单元，其中第一多功能单元被连接以接收来自矩阵矢量单元的输入；第二多功能单元，其中第二多功能单元被连接以接收来自第一多功能单元的输出；以及第三多功能单元，其中第三多功能单元被连接以接收第二多功能单元的输出。硬件还可以被配置为经由全局寄存器从输入队列接收第一类型指令，其中第一类型指令只能由矩阵矢量单元执行，并且由矩阵矢量单元执行第一类型指令并将第一类型指令的第一结果存储在至少一个累加器寄存器中，经由全局寄存器从输入队列接收第二类型指令，其中第二类型指令只能由第一多功能单元、第二多功能单元或第三多功能单元中的至少一个执行，并且使用第一多功能单元执行第二类型指令，其中该执行包括对至少第一类型指令的第一结果执行操作，并生成第二结果，并且在不将第一结果或第二结果存储在全局寄存器中的情况下，将第二结果传递给第二多功能单元并且在那之后将第二结果传递给第三多功能单元。