[发明专利]生成指令序列的方法、执行神经网络运算的方法和装置

权利要求书

1.一种生成神经网络的指令序列的方法，包括：

获取神经网络各层的属性数据；

根据神经网络各层的属性数据，确定至少一个层级组及其拆分参数，所述层级组包括所述神经网络中的至少一个层，所述拆分参数包括至少一个预定维度和每个预定维度将被切分成的预定份数；以及

根据神经网络各层的属性数据、所述至少一个层级组的拆分参数，生成所述神经网络的指令序列；

其中，所述指令序列中包含所述至少一个层级组中各层的运算操作指令，所述运算操作指令中的输出参数指示所述至少一个层级组的输出特征数据，所述至少一个层级组的输出特征数据由所述至少一个层级组的输出特征图在所述至少一个预定维度上划分成所述预定份数而得到；

其中，所述确定至少一个层级组及其拆分参数，包括：

确定所述神经网络的前(i-1)层的具有最小运算操作开销的分组方式；以及

基于所述神经网络的前(i-1)层的分组方式，确定所述神经网络的前i层的具有最小运算操作开销的分组方式，并且重复所述基于所述神经网络的前(i-1)层的分组方式，确定所述神经网络的前i层的具有最小运算操作开销的分组方式的步骤直到确定所述神经网络的具有最小运算操作开销的分组方式，从而获得与所述神经网络的具有最小运算操作开销的分组方式对应的至少一个层级组及其拆分参数，

其中，i为2至n的整数，n是所述神经网络包括的层数。

2.根据权利要求1所述的方法，其中，基于所述神经网络的前(i-1)层的分组方式，确定所述神经网络的前i层的具有最小运算操作开销的分组方式，包括：

对于从s=max(1,i-m+1)到s=i的多个s值，计算包括第s层至第i层的层级组的运算操作开销；

计算包括第s至i层的层级组的运算操作开销与前(s-1)层的运算操作开销的和，作为前i层的运算操作开销；

从与所述多个s值对应的多个前i层的运算操作开销中，选取最小的运算操作开销，从而确定所述神经网络的前i层的具有最小运算操作开销的分组方式，

其中，max是返回最大值的函数，m是层级组包括的最大层数。

3.根据权利要求2所述的方法，其中，计算包括第s层至第i层的层级组的运算操作开销，包括：

确定所述层级组的多个拆分参数及其对应的多个运算操作开销；以及

选择最小的运算操作开销及其对应的拆分参数。

4.根据权利要求3所述的方法，其中，确定所述层级组的多个拆分参数包括：

根据预设的拆分参数和所述层级组中各层的属性数据，确定所述层级组需要使用的缓存大小；

确定所述层级组需要使用的缓存大小是否超过高速缓冲存储器分配给所述神经网络的最大容量值；以及

在所述层级组需要使用的缓存大小超过所述最大容量值时，调整所述拆分参数，直到所述层级组需要使用的缓存大小不超过所述最大容量值。

5.根据权利要求1所述的方法，其中，

神经网络中一层的属性数据包括该层的输入特征图参数、运算参数、以及表征该层输入特征图来源的源参数；

生成所述神经网络的指令序列，包括：

根据所述至少一个层级组中各层的输入特征图参数、运算参数以及所述至少一个层级组的拆分参数，确定所述至少一个层级组中各层每次运算操作的输入参数、输出参数、以及运算参数；

根据所述至少一个层级组中各层的源参数、以及各层每次运算操作的输入参数和输出参数，确定所述至少一个层级组中各层每次运算操作的次序；以及

按照所述至少一个层级组中各层每次运算操作的次序，利用所述至少一个层级组中各层每次运算操作的输入参数、输出参数、以及运算参数生成所述至少一个层级组中各层每次运算操作的运算操作指令，以使得所述至少一个层级组中各层的运算操作指令在所述指令序列中按照所述次序排列。