[发明专利]具有带有块浮点处理的矩阵矢量单元的硬件节点

说明书

提供了用于神经网络处理的处理器和方法。一种方法包括接收与神经网络模型的层相对应的矢量数据，其中每个矢量数据具有包括至少一个指数的值。该方法还包括：第一处理矢量数据的第一子集以确定用于以块浮点格式表示矢量数据的第一子集中的值的第一共享指数，并且第二处理矢量数据的第二子集以确定用于以块浮点格式表示矢量数据的第二子集中的值的第二共享指数，以使得没有来自矢量数据的第二子集的矢量数据影响第一共享指数的确定，并且没有来自矢量数据的第一子集的矢量数据影响第二共享指数的确定。

背景技术

神经网络技术用于执行复杂的任务，诸如阅读理解、语言翻译或语音识别。这些任务中的很多任务包括涉及执行大量的浮点矩阵乘法和累加运算的深度学习。这些操作是在训练期间以及基于输入数据和已训练矢量数据的结果的提供期间执行的。

发明内容

在一个示例中，本公开涉及一种包括矩阵矢量单元的处理器中的方法。在一个示例中，该方法可以包括接收与神经网络模型的至少一个层相对应的矢量数据以使用矩阵矢量单元进行处理，其中每个矢量数据具有以包括至少一个指数的格式表示的值。该方法还可以包括第一处理矢量数据的第一子集以确定用于以块浮点格式表示矢量数据的第一子集中的值的第一共享指数，并且第二处理矢量数据的第二子集以确定用于以块浮点格式表示矢量数据的第二子集中的值的第二共享指数，其中第一处理和第二处理被执行以确定第一共享指数和第二共享指数，以使得没有来自矢量数据的第二子集的矢量数据影响第一共享指数的确定，并且没有来自矢量数据的第一子集的矢量数据影响第二共享指数的确定。

在另一示例中，本公开涉及一种处理器，该处理器被配置为接收与神经网络模型的至少一个层相对应的矢量数据以使用矩阵矢量单元进行处理，其中每个矢量数据具有以包括至少一个指数的格式表示的值。该处理器还被配置为第一处理矢量数据的第一子集以确定用于以块浮点格式表示矢量数据的第一子集中的值的第一共享指数，并且第二处理矢量数据的第二子集以确定用于以块浮点格式表示矢量数据的第二子集中的值的第二共享指数，其中该处理器还被配置为确定第一共享指数和第二共享指数，以使得没有来自矢量数据的第二子集的矢量数据影响第一共享指数的确定，并且没有来自矢量数据的第一子集的矢量数据影响第二共享指数的确定。

在又一示例中，本公开涉及一种包括输入消息处理器的系统，该输入消息处理器被配置为处理传入消息，其中输入消息处理器还被配置为将传入消息分为第一组消息和第二组消息。该系统还可以包括被配置为处理第一组消息的标量处理器。该系统还可以包括神经功能单元，该神经功能单元被配置为处理由标量处理器放置在多个队列中的关于至少经由第二组消息而接收的输入数据的指令。神经功能单元可以包括被配置为处理指令的管线，管线包括：矩阵矢量单元；第一多功能单元，其中第一多功能单元被连接以从矩阵矢量单元接收输入；第二多功能单元，其中第二多功能单元被连接以从第一多功能单元接收输出；以及第三多功能单元，其中第三多功能单元被连接以从第二多功能单元接收输出。矩阵矢量单元可以被配置为接收与神经网络模型的至少一个层相对应的训练矢量数据以使用矩阵矢量单元进行处理，其中每个训练矢量数据具有以包括至少一个指数的格式表示的值。矩阵矢量单元还可以被配置为第一处理训练矢量数据的第一子集以确定用于以块浮点格式表示训练矢量数据的第一子集中的值的第一共享指数，并且第二处理训练矢量数据的第二子集以确定用于以块浮点格式表示训练矢量数据的第二子集中的值的第二共享指数，其中处理器还被配置为确定第一共享指数和第二共享指数，以使得没有来自训练矢量数据的第二子集的矢量数据影响第一共享指数的确定，并且没有来自训练矢量数据的第一子集的矢量数据影响第二共享指数的确定。

提供本“发明内容”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

本公开通过示例的方式示出并且不受附图的限制，在附图中，相似的附图标记指示相似的元素。附图中的元素被示出以为了简单且清楚，而不一定按比例绘制。

图1是根据一个示例的包括经由数据中心网络互连的节点的系统的框图；