[发明专利]神经网络推理的内存管理方法及装置

权利要求书

1.一种神经网络推理的内存管理方法，其特征在于，包括：

对内存空间进行划分，划分后的内存空间至少包括第一类区域和第二类区域；其中，所述第一类区域只会被用于存储生命周期为1的FM数据，所述第二类区域能够被用于存储任意生命周期的FM数据；所述生命周期为1是指神经网络第n层的输出FM数据只会被它的下一层即第n+1层用到；所述FM是特征图；

对待分配内存空间的神经网络进行分析，得出该神经网络中存在多输入的层的数量；

根据该神经网络中存在多输入的层的数量与该神经网络的总层数，来确定是否启用第一类区域、以及是否启用第二类区域；

从第一类区域和/或第二类区域中为该神经网络中各个层的FM数据分配内存空间；其中，在从第二类区域中，为需要存放在第二类区域的各个网络层分配内存空间的过程中，通过贪婪算法逐层搜索最小化当前第二类区域的内存总和、且最大化第二类区域的内存复用；

其中，确定是否启用第一类区域、以及是否启用第二类区域具体包括：

若该神经网络中所有层都不存在多输入的情况，则启用第一类区域进行内存分配，不启用第二类区域，该神经网络中所有层的FM数据的存储空间都从第一类区域中分配；

若该神经网络中存在多输入的层的数量占该神经网络的总层数的比例不超过预定的第一阈值，则启用第一类区域和第二类区域进行内存分配；

若该神经网络中存在多输入的层的数量占该神经网络的总层数的比例超过预定的第一阈值，则启用第二类区域进行内存分配，不启用第一类区域，该神经网络中所有层的FM数据的存储空间都从第二类区域中分配。

2.如权利要求1所述的神经网络推理的内存管理方法，其特征在于，所述对待分配内存空间的神经网络进行分析，得出该神经网络中存在多输入的层的数量包括：

对待分配内存空间的神经网络中每一层的所有输入IFMs进行统计，得出每一层的FM和生命周期终止点；

根据待分配内存空间的神经网络中每一层的FM和生命周期终止点，统计得出该神经网络中存在多输入的层的数量。

3.如权利要求1所述的神经网络推理的内存管理方法，其特征在于，所述第一阈值为10%。

4.如权利要求1所述的神经网络推理的内存管理方法，其特征在于，所述从第一类区域和/或第二类区域中为该神经网络中各个层的FM数据分配内存空间包括：

初始化第一类区域；

计算并统计该神经网络在各时刻最大需要占用的第一类区域的内存空间大小；

从第一类区域中，为需要存放在第一类区域的各个网络层分配内存空间；其中，若flag为真，则从第一类区域的左侧开始分配内存空间，若flag为假，则从第一类区域的zoo1.size–x.size位置开始分配内存空间，所述zoo1.size表示该神经网络在各时刻最大需要占用的第一类区域的内存空间大小，x.size表示当前待分配内存FM的大小。

5.如权利要求4所述的神经网络推理的内存管理方法，其特征在于，所述计算该神经网络总共需要占用的第一类区域的内存空间大小包括：采用以下方式来计算该神经网络总共需要占用的第一类区域的内存空间大小：

其中，zoo1表示该神经网络总共需要占用的第一类区域的内存空间大小，FM_n表示第n层FM所需要占用的内存空间大小，FM_n+1表示第n+1层FM所需要占用的内存空间大小，L+1表示该神经网络中所有需要存放在第一类区域的网络层的数量。

6.如权利要求1所述的神经网络推理的内存管理方法，其特征在于，所述从第一类区域和/或第二类区域中为该神经网络中各个层的FM数据分配内存空间包括：

初始化第二类区域，设定tail=0，zoo2.size=0，候选区列表为空；其中，所述tail用于记录和指示第二类区域中当前已分配的内存空间中最后内存块的地址；

从第二类区域中，为需要存放在第二类区域的各个网络层分配内存空间。