[发明专利]神经网络处理器中的批处理

说明书

用于针对多个输入中的每个生成相应的神经网络输出的方法、系统和装置，包括在计算机存储介质上编码的计算机程序，所述方法包括，针对神经网络层的每个：接收要在所述神经网络层进行处理的多个输入；从所述多个输入形成输入的一个或多个批，每个批具有达到所述神经网络层的相应的批大小的多个输入；选择输入的所述一个或多个批中的多个进行处理，其中所述一个或多个批中的多个的输入的计数大于或等于按顺序的后续层的相应的相关联批大小；以及对所述一个或多个输入批中的多个进行处理以生成相应的神经网络层输出。

背景技术

该说明书涉及硬件中的计算神经网络推理。

神经网是一种采用一层或多层神经元来针对所接收的输入生成输出的机器学习模型，所述输出例如分类。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，所述下一层即网络中的下一个隐藏层或输出层。所述网络的每一层依据参数的相应集合的当前值从所接收的输入生成输出。

传统上，一些神经网络系统串行地计算推理。也就是说，当针对多个输入计算推理时，神经网络系统能够在处理下一个输入之前经由所述神经网络的每一层来处理每个输入，以针对所述输入生成输出。

发明内容

总体上，该说明书描述了一种计算神经网络推理的专用硬件电路。

总体上，该说明书中所描述主题的一个创新方面能够以方法来体现，所述方法包括针对多个输入中的每个生成相应的神经网络输出的动作，其中所述生成包括经由多个神经网络层中的每个处理每个输入，以针对所述输入生成相应的神经网络输出，其中所述神经网络层被按顺序布置，并且其中每个神经网络层具有相应批大小，所述方法包括，针对每个神经网络层：接收要在所述神经网络层进行处理的多个输入；从所述多个输入形成输入的一个或多个批，每个批具有达到所述神经网络层的相应的批大小的数个输入；选择输入的所述一个或多个输入批中的数个进行处理，其中所述一个或多个批中的数个中的输入的计数大于或等于所述顺序中的后续层的相应的相关联批大小；以及对输入的所述一个或多个批中的数个进行处理以生成相应的神经网络层输出。

实施方式可以包括以下特征中的一个或多个。所述相应批大小至少基于权重重用值，所述权重重用值表示：在要长于所述权重输入从存储器的加载时间的在矩阵计算单元使用所述权重输入的输出值计算时间内，权重输入需要被重复使用的次数。其中所述权重重用值至少基于存储所述权重输入的存储器的时钟速率。每个批大小至少基于所述权重重用值除以权重输入针对相应层被重复使用的次数。所述多个神经网络层在矩阵处理单元被处理，其中对输入的一个或多个批中的数个进行处理包括使用所述矩阵计算单元针对每个输入计算累加值。所述权重重用值基于所述矩阵计算单元内的算术运算单元的数量。每个输入对应于不同的图像资源。从一个或多个层输出形成批以便在后续层进行处理。针对每个输出生成相对应的推理。

该说明书中所描述主题的特定实施例能够被实施从而实现以下优势中的一种或多种。特殊用途的硬件电路能够通过对多个独立输入重复使用给定层的权重输入，来有效地执行具有多个层的神经网络的计算。特别地，所述权重输入被多次重复使用而使得多次重复使用所述权重输入的计算时间大于从存储器访问新的权重输入的摄取时间，由此使得所述电路中的吞吐量最大化并且避免所述电路的失速(stalling)。所述电路即使在权重输入在每个层以不同次数被重复使用的情况下也能够有效地执行计算。

该说明书的主题的一个或多个实施例的细节在附图和以下描述中给出。所述主题的其它特征、方面和优势将由于该描述、附图和权利要求而是显而易见的。

附图说明

图1是用于针对神经网络的给定层执行计算的示例方法的流程图。

图2示出了示例神经网络处理系统。

图3示出了包括矩阵计算单元的示例架构。

图4示出了包括脉动矩阵的cell的示例架构。