[发明专利]用于神经网络处理的具有矩阵-向量相乘区块的硬件节点

说明书

提供了用于神经网络处理的硬件和方法。提供了一种系统中的方法，系统包括多个节点，其中每个节点包括多个区块。方法包括接收N乘M系数矩阵，该N乘M系数矩阵被配置成控制神经网络模型。方法包括将N乘M系数矩阵的第一行和第二行存储在第一和第二片上存储器中，该第一和第二片上存储器被并入多个区块中的第一和第二区块内。方法包括使用第一计算单元来处理系数的第一行和第一组输入向量，该第一计算单元被并入多个区块中的第一区块内。方法包括使用第二计算单元来处理系数的第二行和第二组输入向量，该第二计算单元被并入多个区块中的第二区块内。

背景技术

神经网络技术用于执行复杂的任务，诸如阅读理解、语言翻译或语音识别。虽然神经网络可以执行这种任务，但使用通用CPU或通用GPU进行部署是很昂贵的。另外，虽然GPU相对于CPU提供了增加的吞吐量，但它们具有较差的延时。

发明内容

在一个示例中，本公开涉及一种用于评估系统中的神经网络模型的方法，系统包括经由网络互连的多个节点，其中每个节点包括多个区块(tile)。方法可以包括经由入口树接收N乘M系数矩阵，其中N乘M系数矩阵被配置成控制神经网络模型，其中N是等于或大于8的整数并且M是等于或大于8整数。方法还可以包括：将N乘M系数矩阵的第一行存储在第一片上存储器中，并且将N乘M系数矩阵的第二行存储在第二片上存储器中,该第一片上存储器被并入多个区块中的第一区块内，该第二片上存储器被并入多个区块中的第二区块内。方法还可以包括：使用第一计算单元来处理经由入口树接收的N乘M系数矩阵的第一行和第一组输入向量，该第一计算单元被并入多个区块中的第一区块内。方法还可以包括：使用第二计算单元来处理经由入口树接收的N乘M系数矩阵的第二行和第二组输入向量，该第二计算单元被并入多个区块中的第二区块内。

在另一示例中，本公开涉及包括多个区块的硬件节点。硬件节点还可以包括入口树，该入口树被配置成接收N乘M系数矩阵，其中N乘M系数矩阵被配置成控制神经网络模型，其中N是等于或大于8的整数并且M是等于或大于8的整数。硬件节点还可以包括被并入多个区块中的第一区块内的第一片上存储器，其被配置成存储N乘M系数矩阵的第一行。硬件节点还可以包括被并入多个区块中的第二区块内的第二片上存储器，其被配置成存储N乘M系数矩阵的第二行。硬件节点还可以包括被并入多个区块中的第一区块内的第一计算单元，其被配置成处理经由入口树接收的N乘M系数矩阵的第一行和第一组输入向量。硬件节点还可以包括被并入多个区块中的第二区块内的第二计算单元，其被配置成处理经由入口树接收的N乘M系数矩阵的第二行和第二组输入向量。

在又一示例中，本公开涉及包括多个区块的硬件节点。硬件节点还可以包括入口树，入口树被配置成接收N乘M系数矩阵，其中N乘M系数矩阵被配置成控制神经网络模型，其中N是等于或大于8的整数并且M是等于或大于8的整数，并且其中入口树包括第一入口树寄存器，其扇出到第二入口树寄存器和第三入口树寄存器。硬件节点还可以包括被并入多个区块中的第一区块内的第一片上存储器，其被配置成存储N乘M系数矩阵的第一行。硬件节点还可以包括被并入多个区块中的第二区块内的第二片上存储器，其被配置成存储N乘M系数矩阵的第二行。硬件节点还可以包括被并入多个区块中的第一区块内的第一计算单元，其被配置成处理经由入口树接收的N乘M系数矩阵的第一行和第一组输入向量。硬件节点还可以包括被并入多个区块中的第二区块内的第二计算单元，其被配置成处理经由入口树接收的N乘M系数矩阵的第二行和第二组输入向量。

提供本发明内容是为了以简化的形式介绍一些构思，这些构思将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

本公开通过示例的方式说明，并且不限于附图，其中相同的附图标记指示类似的元件。附图中的元件是为了简单和清楚起见而图示的，并且不一定按比例绘制。

图1是根据一个示例的包括经由数据中心网络互连的节点的系统的框图；

图2是根据一个示例的包括分布式节点的系统的框图；