[发明专利]深度学习网络中的内存资源分配方法、装置、设备及介质

说明书

本发明实施例公开了一种深度学习网络中的内存资源分配方法、装置、设备及介质。该方法包括：获取深度学习网络中的至少一个待分配内存张量，并根据深度学习网络对应的计算图，确定各待分配内存张量的生命周期关系；根据当前进行内存分配的目标内存张量，生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块；计算目标内存张量分配至备选内存资源块的通信消耗，并根据通信消耗在所备选内存资源块中确定目标内存资源块；将目标内存张量分配至目标内存资源块。该方法可以合理地对各内存张量进行分配，从而避免数据交换冲突，提高深度学习网络任务执行效率，以及内存资源利用率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种深度学习网络中的内存资源分配方法、装置、设备及介质。

背景技术

随着人工智能(Artificial Intelligence，AI)处理器的演进和发展，处理器内部数据的存储需求越来越大。在深度学习网络中，运算中产生的内存张量需要分配至内存资源进行存储。

但是，由于运算的复杂性，在深度学习网络中各内存张量可能需要被多次调用，导致数据交换极易发生冲突。如果内存张量所分配的内存资源块冲突率高，还会导致深度学习网络任务操作开销大、执行效率低、以及资源利用率低等问题。

因此，亟待提供一种深度学习网络中的内存资源分配方法，进行合理内存分配，避免数据交换冲突，提高任务执行效率以及资源利用率。

发明内容

本发明提供了一种深度学习网络中的内存资源分配方法、装置、设备及介质，以合理地对各内存张量进行分配，提高任务执行效率，以及内存资源利用率。

根据本发明的一方面，提供了一种深度学习网络中的内存资源分配方法，该方法包括：

获取深度学习网络中的至少一个待分配内存张量，并根据所述深度学习网络对应的计算图，确定各所述待分配内存张量的生命周期关系；

根据当前进行内存分配的目标内存张量，所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块；

计算所述目标内存张量分配至所述备选内存资源块的通信消耗，并根据所述通信消耗在所备选内存资源块中确定目标内存资源块；

将所述目标内存张量分配至所述目标内存资源块。

根据本发明的另一方面，提供了一种深度学习网络中的内存资源分配装置，该装置包括：

生命周期关系确定模块，用于获取深度学习网络中的至少一个待分配内存张量，并根据所述深度学习网络对应的计算图，确定各所述待分配内存张量的生命周期关系；

备选内存资源块确定模块，用于根据当前进行内存分配的目标内存张量，所述生命周期关系以及各内存资源块中的已分配内存张量，确定备选内存资源块；

目标内存资源块确定模块，用于计算所述目标内存张量分配至所述备选内存资源块的通信消耗，并根据所述通信消耗在所备选内存资源块中确定目标内存资源块；

资源分配模块，用于将所述目标内存张量分配至所述目标内存资源块。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的深度学习网络中的内存资源分配方法。