[发明专利]神经网络核中动态精度的数据表示

说明书

提供了用于神经网络计算的系统。神经网络处理器包括多个神经核。神经网络处理器每次激活具有一个或多个处理器精度。处理器被配置为接受具有处理器特征维度的数据。转换电路耦合到神经网络处理器，并适于：在一个或多个特征上接收具有每通道输入精度的输入数据张量；将输入数据张量从输入精度转换为处理器精度；将输入数据划分为多个块，每个块符合处理器特征维度之一；将多个块中的每一个提供给多个神经核之一。神经网络处理器适于通过多个神经核计算一个或多个神经网络层的输出。

技术领域

本公开的实施例涉及神经网络的多核硬件实现，并且更具体地，涉及用于神经网络核中的动态精度的数据表示。

发明内容

根据本公开的实施例，提供了用于操作神经网络的方法和计算机程序产品。在各种实施例中，在包括多个神经核的神经网络处理器接收输入数据张量。输入数据张量在输入位精度上具有特征维度。在一个或多个处理器位精度上为一个或多个处理器特征维度配置神经网络处理器。输入数据从输入位精度转换为处理器位精度之一。输入数据张量被分为多个块，每个块符合处理器特征维度之一。多个块中的每一个被提供给多个神经核之一。多个神经核计算一个或多个神经网络层的输出。

根据本公开的实施例，提供了用于神经网络计算的系统。神经网络处理器包括多个神经核。神经网络处理器每次激活具有一个或多个处理器精度。处理器被配置为接受具有处理器特征维度的数据。转换电路耦合到神经网络处理器，并适于：在一个或多个特征上接收具有每通道输入精度的输入数据张量；将输入数据张量从输入精度转换为处理器精度；将输入数据划分为多个块，每个块符合处理器特征维度之一；将多个块中的每个块提供给多个神经核之一。神经网络处理器适于通过多个神经核计算一个或多个神经网络层的输出。

附图说明

图1示出了根据本公开实施例的神经核。

图2示出了根据本公开实施例的示例性推理处理单元(IPU)。

图3示出了根据本公开实施例的多核推理处理单元(IPU)。

图4示出了根据本公开实施例的转换。

图5示出了根据本公开实施例的操作神经网络的方法。

图6描绘了根据本公开实施例的计算节点。

具体实施方式

人工神经元是一种数学函数，它的输出是输入的线性组合的非线性函数。如果一个神经元的输出是另一神经元的输入，则两个神经元连接。权重是一个标量值，它编码一个神经元的输出与另一神经元的输入之间的连接强度。

神经元通过将非线性激活函数应用于其输入的加权和来计算其输出，称为激活。加权和是通过将每个输入与相应的权重相乘并累加乘积而得出的中间结果。部分和是输入子集的加权和。可以通过累加一个或多个部分和来分阶段计算所有输入的加权和。

神经网络是一个或多个神经元的集合。神经网络通常分为称为层的神经元组。一层是一个或多个神经元的集合，它们都从同一层接收输入，并且都将输出发送到同一层，并且通常执行类似的功能。输入层是从神经网络外部的源接收输入的层。输出层是将输出发送到神经网络外部目标的层。所有其他层都是中间处理层。多层神经网络是一层以上的神经网络。深度神经网络是具有许多层的多层神经网络。

张量是数值的多维数组。张量块是张量中元素的连续子数组。

每个神经网络层都与参数张量V、权重张量W、输入数据张量X、输出数据张量Y和中间数据张量Z相关联。参数张量包含控制该层中神经元激活函数σ的所有参数。权重张量包含将输入连接到该层的所有权重。输入数据张量包含该层消耗作为输入的所有数据。输出数据张量包含该层计算作为输出的所有数据。中间数据张量包含该层作为中间计算产生的任何数据，例如部分和。