[发明专利]神经网络处理器中的向量计算单元

说明书

一种用于对包含多层的神经网络进行神经网络计算的电路，该电路包括：激活电路，该激活电路被配置为接收累加值的向量，并且被配置为将函数应用到每个累加值以生成激活值的向量；以及归一化电路，该归一化电路连接到激活电路，并且被配置为从每个激活值生成各自的归一化值。

技术领域

本说明书涉及在硬件中计算神经网络推理。

背景技术

神经网络是一种机器学习模型，其采用一个或多个层以对于接收到的输入生成例如分类的输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层，即，网络的下一个隐藏层或者输出层的输入。网络中的每个层根据各自的参数组的当前值从接收到的输入生成输出。

发明内容

通常地，本说明书描述了一种专用硬件电路，其计算神经网络推理。

通常地，在本说明书中的主题的一个创新性的方面能够被实施为对包含多层的神经网络进行神经网络计算的电路，该电路包括：激活电路，该激活电路被配置为接收累加值的向量，并且被配置为将函数应用到每个累加值以生成激活值的向量；以及归一化电路，该归一化电路耦合到激活电路，并且被配置为生成用于每个激活值的各自的归一化值(respective normalized value)。

实现能够包括一个或多个以下特征。激活电路从电路中的脉动阵列(systolicarray)接收累加值的向量。归一化电路包括多个归一化寄存器列，每个归一化寄存器列包括串联连接的多个归一化寄存器，每个归一化寄存器列被配置为接收相异的激活值(distinct activation value)，归一化寄存器列中的各自的归一化单元被配置为计算各自的归一化值。每个归一化寄存器被配置为将相异的激活值传送到相邻的归一化单元。每个归一化单元被配置为：接收各自的激活值；根据各自的激活值生成各自的中间归一化值；以及将各自的中间归一化值发送至一个或多个相邻的归一化单元。生成各自的中间归一化值包括生成各自的激活值的平方。每个归一化单元进一步被配置为：从一个或多个相邻的归一化单元接收根据激活值生成的一个或多个中间归一化值；对每个中间归一化值求和，以生成索引(index)；使用索引以从查找表读取一个或多个值；根据一个或多个值以及索引生成缩放因子；以及根据缩放因子以及各自的激活值生成各自的归一化值。池化电路被配置为接收归一化值，并且被配置为池化归一化值以生成池化值。池化电路被配置为将多个归一化值存储在多个寄存器以及多个存储器单元中，其中，多个寄存器和多个存储器单元串联连接，其中，每个寄存器分别存储一个归一化值，并且每个存储器单元分别存储多个归一化值，其中，池化电路被配置为在每个时钟周期之后将给定归一化值移位至随后的寄存器或者存储器单元，并且其中，池化电路被配置为根据归一化值生成池化值。池化电路被配置为接收激活值，并且被配置为池化激活值以生成池化值。池化电路被配置为将多个激活值存储在多个寄存器以及多个存储器单元中，其中，多个寄存器和多个存储器单元串联连接，其中，每个寄存器存储一个归一化值，并且每个存储器单元存储多个激活值，其中，池化电路被配置为在每个时钟周期之后将给定激活值移位至随后的寄存器或者存储器单元，并且其中，池化电路被配置为根据激活值生成池化值。

本说明书中描述的主题的特定实施方式能够被实施为实现以下优势效果中的一者以上。在给定的时钟周期期间，能够计算神经网络的每个神经网络层的多个激活值。可选地，处理器能够根据另一给定的时钟周期期间的激活值生成多个归一化值。可选地，处理器还能够根据归一化值或激活值生成池化值。处理器能够在每个时钟周期内采用新的累加总和，并且在每个时钟周期内产生激活结果、归一化结果和池化结果，从而使计算流水线化。

本发明还提供了运算神经网络的相应的方法。

本说明书的主题的一个或多个实施方式的细节将在下面的附图和说明书中提出。本主题的其他特征、方面和优势效果将由于说明书、附图和权利要求而清晰。

附图说明

图1是对神经网络的给定层进行计算的示例性方法的流程图。