[发明专利]使用多个深度学习加速器实施人工神经网络的计算

权利要求书

1.一种方法，其包括：

在计算设备中接收表示人工神经网络的描述的数据；

通过所述计算设备识别所述人工神经网络的多个部分；以及

通过所述计算设备根据表示所述人工神经网络的所述描述的所述数据生成配置成将分别在多个装置上执行的多个编译器输出，其中所述多个编译器输出能够在所述多个装置上执行以响应于到所述人工神经网络的输入而生成所述人工神经网络的输出。

2.根据权利要求1所述的方法，其进一步包括：

对于所述编译器输出中的每一个，生成表示所述人工神经网络的所述多个部分当中的相应部分的参数的第一数据和表示能够在所述多个装置当中的相应装置上执行的指令的第二数据。

3.根据权利要求2所述的方法，其进一步包括：

在多个所述装置上依序执行所述编译器输出的至少一部分。

4.根据权利要求3所述的方法，其进一步包括：

执行所述多个编译器输出中的第一编译器输出以生成所述人工神经网络中的中间结果，且指示执行所述第一编译器输出的第一装置将所述中间结果写入执行所述多个编译器输出中的第二编译器输出的第二装置的随机存取存储器中。

5.根据权利要求3所述的方法，其进一步包括：

执行所述多个编译器输出中的第一编译器输出以生成所述人工神经网络中的中间结果，且指示执行所述第一编译器输出的第一装置将所述中间结果的可用性告知所述多个装置中的一或多个第二装置。

6.根据权利要求5所述的方法，其进一步包括：

在所述一或多个第二装置上分别执行所述多个编译器输出中的一或多个编译器输出，以指示所述一或多个第二装置从所述第一装置的随机存取存储器读取所述中间结果。

7.根据权利要求2所述的方法，其进一步包括：

在生成所述人工神经网络的所述输出的同时在多个所述装置上执行所述编译器输出的至少一部分。

8.根据权利要求7所述的方法，其进一步包括：

选择所述人工神经网络的所述多个部分，以减少到所述人工神经网络的所述输入与所述人工神经网络的所述输出之间的等待时间。

9.根据权利要求7所述的方法，其进一步包括：

选择所述人工神经网络的所述多个部分当中的第一部分和所述多个部分当中的第二部分，以使所述人工神经网络中一组重叠的人工神经元减少到所述人工神经网络的所述输入与所述人工神经网络的所述输出之间的等待时间。

10.根据权利要求2所述的方法，其进一步包括：

将所述多个编译器输出分别写入所述多个装置中，以将所述多个装置配置成执行所述人工神经网络的矩阵计算。

11.一种计算设备，其包括：

存储器；以及

至少一个微处理器，其配置成：

接收表示人工神经网络的描述的数据；

识别所述人工神经网络的多个部分；以及

根据表示所述人工神经网络的所述描述的所述数据生成配置成将分别在多个装置上执行的多个编译器输出，其中所述多个编译器输出能够在所述多个装置上执行以响应于到所述人工神经网络的输入而生成所述人工神经网络的输出。

12.根据权利要求11所述的计算设备，其中所述多个装置中的每一相应装置具有随机存取存储器和配置成执行矩阵操作的至少一个处理单元；且所述多个编译器输出中的每一个包含表示所述人工神经网络的所述多个部分当中的相应部分的参数的第一数据和表示能够在所述多个装置当中的相应装置上执行的指令的第二数据。

13.根据权利要求12所述的计算设备，其进一步包括所述多个装置；且所述至少一个微处理器配置成将所述多个编译器输出分别写入所述多个装置中，以将所述多个装置配置成执行所述人工神经网络的矩阵计算。