[发明专利]深度学习网络中的内存资源分配方法、装置、设备及介质

权利要求书

1.一种深度学习网络中的内存资源分配方法，其特征在于，所述方法，包括：

获取深度学习网络中的至少一个待分配内存张量，并根据所述深度学习网络对应的计算图，确定各所述待分配内存张量的生命周期关系；

根据当前进行内存分配的目标内存张量，所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块；

计算所述目标内存张量分配至所述备选内存资源块的通信消耗，并根据所述通信消耗在所备选内存资源块中确定目标内存资源块；

将所述目标内存张量分配至所述目标内存资源块；

其中，根据当前进行内存分配的目标内存张量，所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块，包括：

根据所述目标内存张量，确定与所述目标内存张量对应的计算引擎；并确定所述计算引擎与各所述内存资源块的亲和性；

根据所述亲和性、所述目标内存张量、所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块。

2.根据权利要求1所述的方法，其特征在于，在根据当前进行内存分配的目标内存张量，所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块之前，还包括：

根据所述计算图以及所述待分配内存张量的维度，确定各所述待分配内存张量的权重；

根据所述权重对所述待分配内存张量进行排序，并根据各所述待分配内存张量的内存分配情况以及排序结果，确定当前进行内存分配的目标内存张量。

3.根据权利要求2所述的方法，其特征在于，根据所述计算图以及所述待分配内存张量的维度，确定各所述待分配内存张量的权重，包括：

根据深度学习网络中各计算引擎的访问数据量、所述计算图以及所述待分配内存张量的维度，确定所述待分配内存张量的访问频次；

根据所述访问频次以及所述待分配内存张量的维度，确定各所述待分配内存张量的权重。

4.根据权利要求1所述的方法，其特征在于，根据当前进行内存分配的目标内存张量，所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块，包括：

根据所述目标内存张量以及所述生命周期关系，确定与所述目标内存张量对应的一阶生命周期干涉内存张量和二阶生命周期干涉内存张量；

将所述一阶生命周期干涉内存张量和所述二阶生命周期干涉内存张量，与各内存资源块中的已分配内存张量进行匹配，分别确定对应的一阶内存资源块和二阶内存资源块；

根据所述一阶内存资源块和所述二阶内存资源块，确定备选内存资源块。

5.根据权利要求1所述的方法，其特征在于，将所述目标内存张量分配至所述目标内存资源块，包括：

检测到所述目标内存资源块满足预设资源调配条件时，根据所述生命周期关系，确定所述目标内存张量的处理时刻；

如果当前时刻未到达所述处理时刻时，则将所述目标内存张量交换至CPU端；并在所述当前时刻到达所述处理时刻时，将所述目标内存张量从所述CPU端加载至所述目标内存资源块中。

6.根据权利要求5所述的方法，其特征在于，所述目标内存资源块满足预设资源调配条件，包括：

所述目标内存资源块的剩余存储空间小于预设存储空间容量，或者，所述目标内存资源块的存储空间使用不满足预设均衡条件。