[发明专利]用于操作加速器电路的指令

说明书

一种系统包括用以储存输入数据的存储器、加速器电路、以及处理器，加速器电路包括输入命令执行电路、神经元矩阵命令执行电路、以及输出命令执行电路，处理器通讯地耦合至存储器以及加速器电路，以从针对加速器电路的源码产生指令流，每一个指令流包括输入命令、神经元矩阵命令、或输出命令的至少其中之一，并将指令流发送至加速器电路，以由输入命令执行电路、神经元矩阵命令执行电路、以及输出命令执行电路来执行。

技术领域

本揭露内容与硬件处理器电路以及加速器电路有关，且特别地，与用于操作加速器电路的处理器的指令集架构有关。

背景技术

处理器是一种实施含有在数据组件上操作的指令的指令集架构(ISA)的硬件处理装置(例如，中央处理单元(CPU)或图形处理单元(GPU))。张量处理器(或阵列处理机)可实施含有在数据组件的张量上操作的指令的ISA。张量是含有可由沿着不同维度的索引存取的多维度数据物体数据组件。藉由在含有多个数据组件的张量上操作，张量处理器可在只在单一数据组件上支持标量指令操作的标量处理器上达成显著的性能改进。

附图说明

从下面给出的实施方式以及从本揭露内容各种实施方式的所附图式将更完全地了解本揭露内容。然而，图式不应被视为将本揭露内容限制于具体实施方式，但仅用于解释以及了解。

图1示例了根据本揭露内容的一个实施方式的一种包括加速器电路的系统。

图2示例了根据本揭露内容的一个实施方式的一种加速器电路的示意图。

图3示例了根据本揭露内容的一个实施方式的一种引擎电路的示意图。

图4示例了根据本揭露内容的一个实施方式的一种区域存储器(local memory)参考板的示意图。

图5示例了根据本揭露内容的一个实施方式的一种计算单元的矩阵。

图6示例了根据本揭露内容的一个实施方式的一种计算单元的示意图。

图7是根据本揭露内容的一个实施方式之主机的处理器使用加速器电路来执行一神经网络应用的方法的流程图。

图8是根据本揭露内容的一个实施方式之加速器电路执行指令流(stream ofinstructions)的方法的流程图。

具体实施方式

处理器，特别是张量处理器，可用以执行复杂的计算，例如，神经网络应用。神经网络被广泛地用于人工智能(AI)应用中。在此揭露内容中的神经网络是可在电路上实施以基于输入数据做出决定的人工神经网络。神经网络可包括一层或更多层的节点。层可为任何输入层、隐藏层或输出层。

输入层可包括曝露至输入数据的节点，且输出层可包括曝露至输出的节点。输入层以及输出层是可见层，因为它们可从神经网络外面观察到。在输入层以及输出层之间的层称为隐藏层。隐藏层可包括在硬件中实施的节点，以执行从输入层传播至输出层的计算。可使用共同的预定函数集来执行计算，例如，滤波函数以及激励函数。滤波函数可包括乘法运算操作以及求和(也称为约化)操作。激励函数可为全通函数、S型函数(sig)、或双曲正切函数(tanh)的其中任何一个。

在一些实施方式中，CPU可委派GPU以执行与神经网络或其他的计算密集型工作有关的计算。在另一个实施方式中，可实施耦合至CPU的加速器电路以接管GPU的工作量。加速器电路可包括制造用于神经网络计算的加速计算的特殊用途硬件电路系统。虽然加速器电路目前是在云端或在装置端实施，相较于GPU可以相当低的成本执行高性能计算，相较于GPU，这些加速器电路的实施方式不与CPU的编程接口整合，且因此更难以由程序设计师调试。