[发明专利]一种用于神经网络编译的内存优化方法及装置

权利要求书

1.一种用于神经网络编译的内存优化方法，其特征在于：包括如下步骤：

步骤1、将神经网络编译为用于神经网络计算的计算图；

步骤2、将计算图转换为拓扑图；

步骤3、构建关于计算图包含变量生命周期的区间图；

步骤4、分析关于计算图节点包含张量变量互相之间的生命周期的关系，具体如下：

步骤4.1、将关于计算图节点包含的张量变量互相之间的生命周期存在重叠关系的张量变量采用实线互相连接，采用实线连接表示这些张量变量的生命周期存在互相冲突的关系，对于存在冲突关系的张量变量，将其分别分配到不同的寄存器中；

步骤4.2、将关于计算图节点包含的张量变量互相之间的生命周期存在互不重叠关系，且存在赋值关系的张量变量采用虚线互相连接，采用虚线互相连接表示这些张量变量的生命周期互相不冲突，并且存在赋值关系，将采用虚线互相连接的两个张量变量进行合并，并且分配到相同的寄存器中；

步骤4.3、将关于计算图节点包含的张量变量互相之间的生命周期互不重叠的张量变量不连边，两个张量变量不连边表示两个张量变量的生命周期互不重叠，其生命周期也不存在冲突关系，对于不连边的张量变量可分配到相同的寄存器中，允许张量变量复用同一个寄存器；

步骤5、将关于计算图节点包含张量变量之间生命周期存在虚边的张量变量进行合并；

步骤6、迭代地将超出空闲寄存器数量的未分配寄存器的张量变量缓存到内存中，并根据所述步骤5进行合并，直至所有超出空闲寄存器数量的未分配寄存器的张量变量全部缓存到内存中，进入下一步骤；

步骤7、将计算图所包含张量变量生命周期关系图中度小于寄存器数量的节点缓存栈中；

步骤8、将空闲寄存器分配给所述生命周期关系图中保留节点中所包含的未分配寄存器的张量变量；

步骤9、迭代地为栈中的节点所包含张量变量分配寄存器。

2.如权利要求1所述的一种用于神经网络编译的内存优化方法，其特征在于：所述步骤2具体为：先将计算图的子图按照后序顺序进行排序，再将后序所得的子图序列进行逆序排序。

3.如权利要求1所述的一种用于神经网络编译的内存优化方法，其特征在于：所述步骤6的具体子步骤如下：

步骤6.1、分析缓存到内存中的张量变量的生命周期；

步骤6.2、更新缓存张量变量之后计算图节点包含张量变量生命周期的关系图；

步骤6.3、将关于计算图节点包含张量变量之间生命周期存在虚边的张量变量进行合并；

步骤6.4、根据上述步骤6.1至步骤6.3，依次将所有超出空闲寄存器数量的未分配寄存器的张量变量全部缓存到内存中。

4.如权利要求3所述的一种用于神经网络编译的内存优化方法，其特征在于：所述步骤6.2具体子步骤如下：

步骤6.2.1、将关于计算图节点包含张量变量之间生命周期的关系图中的超出空闲寄存器数量的未分配寄存器的张量变量的节点删除，然后将与所述节点的连边也同时删除；

步骤6.2.2、利用包含缓存张量变量的节点更新生命周期的关系图。

5.如权利要求1所述的一种用于神经网络编译的内存优化方法，其特征在于：所述步骤7具体为：依次将所述生命周期关系图中度小于寄存器数量的节点转移到栈中，直至只剩余与空闲寄存器数量相等数量的包含张量变量的节点。

6.如权利要求1所述的一种用于神经网络编译的内存优化方法，其特征在于：所述步骤9具体为：迭代地为缓存节点的栈中所包含的张量变量分配一个与所在所述生命周期的关系图中相邻节点不同的寄存器；所述为栈中缓存节点包含变量分配寄存器的顺序是按照栈中节点的出栈顺序依次进行张量变量的寄存器分配过程。

7.一种用于神经网络编译的内存优化装置，其特征在于：所述装置包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-6任一项所述用于神经网络编译的内存优化方法。