[发明专利]使用主机传达的合并权重和每层指令的封装通过神经网络加速器进行的多层神经网络处理

权利要求书

1.一种方法，包括：

通过主机计算机系统将与神经网络的多个层相关联的多个权重矩阵写入与神经网络加速器共享的存储器；

通过所述主机计算机系统将多个每层指令组装为指令封装，每个每层指令指定对所述神经网络的所述多个层的相应层的处理以及共享的存储器中权重矩阵的相应偏移；

通过所述主机计算机系统将输入数据和所述指令封装写入所述共享的存储器；

通过所述神经网络加速器从所述共享的存储器中读取所述指令封装；以及

通过所述神经网络加速器处理所述指令封装的所述多个每层指令。

2.根据权利要求1所述的方法，其中所述写入所述多个权重矩阵包括：在所述处理所述多个每层指令之前，将所有所述多个权重矩阵写入所述共享的存储器。

3.根据权利要求1或权利要求2所述的方法，其中所述写入所述多个权重矩阵包括：在所述处理所述多个每层指令之前，将所有所述多个权重矩阵写入所述共享的存储器中的连续地址空间。

4.根据权利要求1至3中任一项所述的方法，还包括：从所述主机计算机系统向所述神经网络加速器传达指示所述权重矩阵在所述共享的存储器中的基址的参数。

5.根据权利要求1至4中任一项所述的方法，其中所述处理所述多个每层指令封装包括：

处理第一每层指令，接着连续处理所述指令封装的第二每层指令；

在处理所述第一每层指令时，从所述共享的存储器的第一部分读取输入数据，并且将输出数据写入所述共享的存储器的第二部分；以及

在处理所述第二每层指令时，从所述共享的存储器的所述第二部分读取输入数据，并且将输出数据写入所述共享的存储器的所述第一部分。

6.根据权利要求1至5中任一项所述的方法，其中所述处理所述多个每层指令封装包括：按照在所述指令封装中出现的次序来处理所述指令封装中的所述多个每层指令。

7.根据权利要求1至6中任一项所述的方法，其中所述处理所述多个每层指令封装包括：针对指令封装中的n个指令在开始执行指令i+1之前，处理完成指令i的执行，并且1≤i≤n。

8.根据权利要求1至7中任一项所述的方法，其中所述处理所述多个每层指令封装包括：针对由所述指令封装定义的状态机，评估有限状态机转换表。

9.一种神经网络处理系统，包括：

共享存储器；

主机计算机系统，耦合到所述共享存储器，其中所述主机计算机系统配置有指令，当所述指令被执行时，使得所述主机计算机系统执行：

将与神经网络的多个层相关联的多个权重矩阵写入所述共享存储器；

将多个每层指令组装为指令封装，每个每层指令指定对所述神经网络的所述多个层中的相应层的处理以及所述共享存储器中权重矩阵的相应偏移；

将输入数据和所述指令封装写入所述共享存储器；以及

神经网络加速器，耦合到所述共享存储器和所述主机计算机系统，其中所述神经网络加速器被配置为：

从所述共享存储器中读取所述指令封装；以及

处理所述指令封装的所述多个每层指令。

10.根据权利要求9所述的神经网络处理系统，其中使得所述主机计算机系统写入所述多个权重矩阵的所述指令包括使得在所述神经网络加速器处理所述多个每层指令之前所述主机计算机系统将所有所述多个权重矩阵都写入所述共享存储器的指令。

11.根据权利要求9或10所述的神经网络处理系统，其中使得所述主机计算机系统写入所述多个权重矩阵的所述指令包括使得在所述神经网络加速器处理所述多个每层指令之前所述主机计算机系统将所有所述多个权重矩阵均写入所述共享存储器中的连续地址空间的指令。