[发明专利]基于多线程的内存分配方法及装置

说明书

本公开提供了一种基于多线程的内存分配方法，该内存分配方法应用于众核芯片，众核芯片包括多个计算核，每个计算核对应配置有独立内存，该内存分配方法包括：利用当前计算核对应的多个线程并行执行各自对应的内存分配任务；对于每一个所述线程，所述线程执行对应的所述内存分配任务，包括：基于当前计算核的内存资源池，利用强化学习的价值迭代算法对当前计算核对应的各算子进行内存分配，所述算子包括至少一个张量。本公开还提供了一种内存分配装置、电子设备及计算机可读介质。

技术领域

本公开涉及计算机技术领域，特别涉及一种基于多线程的内存分配方法及内存分配装置、电子设备、计算机可读介质。

背景技术

深度学习框架(例如TensorFlow或ONNX)通常使用计算图来表达深度学习模型(神经网络)的计算。针对特定的加速硬件，神经网络计算图需要经过编译器进行编译，以生成可以在硬件上运行的指令流。其中，硬件可以是存算一体的众核架构芯片，众核架构芯片通常包括多个计算核(CORE)。

在神经网络计算图的编译阶段，计算图进入编译器后，会进行任务分配，根据计算图的不同算子的计算量和访存需求，以及算子间的同步信息，将不同的算子分配到不同的计算核上进行执行。其中，一个算子对应至少一个张量(Tensor)。

计算核上的内存有限，如何合理且有效地为算子张量分配相应计算核内存是目前亟待解决的技术问题。

发明内容

本公开提供一种基于多线程的内存分配方法及内存分配装置、电子设备、计算机可读介质。

根据本公开的第一方面，本公开实施例提供了一种基于多线程的内存分配方法，该内存分配方法应用于众核芯片，所述众核芯片包括多个计算核，每个所述计算核对应配置有独立内存，该内存分配方法包括：利用当前计算核对应的多个线程并行执行各自对应的内存分配任务；对于每一个所述线程，所述线程执行对应的所述内存分配任务，包括：基于当前计算核的内存资源池，利用强化学习的价值迭代算法对当前计算核对应的各算子进行内存分配，所述算子包括至少一个张量。

根据本公开的第二方面，本公开实施例提供了一种内存分配装置，该内存分配装置应用于众核芯片，所述众核芯片包括多个计算核，每个所述计算核对应配置有独立内存，该内存分配装置包括：分配模块，所述分配模块用于利用当前计算核对应的多个线程并行执行各自对应的内存分配任务；对于每一个所述线程，所述线程执行对应的所述内存分配任务，包括：基于当前计算核的内存资源池，利用强化学习的价值迭代算法对当前计算核对应的各算子进行内存分配，所述算子包括至少一个张量。

根据本公开的第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一实施例提供的内存分配方法。

根据本公开的第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述任一实施例提供的内存分配方法。

本公开实施例所提供的基于多线程的内存分配方法、内存分配装置、电子设备及计算机可读介质的技术方案中，一方面，利用多线程并行进行内存分配，每一线程均利用强化学习的价值迭代方式进行内存分配，可以有效减少内存分配的时间消耗，有效提高内存分配效率；另一方面，对于每一线程而言，基于强化学习的价值迭代方式，对计算核对应的各算子张量进行计算核的内存分配，可以快速且容易实现对各计算核所对应的算子张量的内存分配，进一步提高了内存分配效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明