[发明专利]基于多线程的内存分配方法及装置

权利要求书

1.一种基于多线程的内存分配方法，应用于众核芯片，所述众核芯片包括多个计算核，每个所述计算核对应配置有独立内存，所述方法包括：

利用当前计算核对应的多个线程并行执行各自对应的内存分配任务；

对于每一个所述线程，所述线程执行对应的所述内存分配任务，包括：基于当前计算核的内存资源池，利用强化学习的价值迭代算法对当前计算核对应的各算子进行内存分配，所述算子包括至少一个张量。

2.根据权利要求1所述的内存分配方法，其中所述基于当前计算核的内存资源池，利用强化学习的价值迭代算法对当前计算核对应的各算子进行内存分配，包括：

在当前轮次迭代中，依次对当前计算核对应的各算子进行内存分配操作，所述内存分配操作包括：

在所述内存资源池的当前内存分配状态下，确定在所述内存资源池中当前张量对应的可分配内存位置；当前内存分配状态表征在当前轮次迭代中已分配的各张量在所述内存资源池中的内存分配情况；

从当前张量对应的可分配内存位置中，确定出一个可分配内存位置作为目标内存位置；

根据所述目标内存位置对当前张量进行内存分配，并更新所述内存资源池的当前内存分配状态。

3.根据权利要求2所述的内存分配方法，其中所述从当前张量对应的可分配内存位置中，确定出一个可分配内存位置作为目标内存位置，包括：

利用∈-贪婪算法从至少两个位置选择策略中确定出当前位置选择策略；其中，所述至少两个位置选择策略包括第一位置选择策略和第二位置选择策略；

在当前位置选择策略为第一位置选择策略时，随机选择一个可分配内存位置作为所述目标内存位置；

在当前位置选择策略为第二位置选择策略时，确定各个可分配内存位置对应的内存分配状态的状态价值分数，并选择状态价值分数最高的内存分配状态所对应的可分配内存位置作为所述目标内存位置。

4.根据权利要求3所述的内存分配方法，其中不同所述线程所采用的∈-贪婪算法中∈的取值不同。

5.根据权利要求3所述的内存分配方法，其中所述利用∈-贪婪算法从至少两个位置选择策略中确定出当前位置选择策略，包括：

利用随机数生成器，生成一个随机数；

在所述随机数大于在当前轮次迭代中设置的∈值时，确定当前位置选择策略为第一位置选择策略；

在所述随机数小于或等于在当前轮次迭代中设置的∈值时，确定当前位置选择策略为第二位置选择策略。

6.根据权利要求2所述的内存分配方法，其中所述当前内存分配状态包括已分配的张量、对应分配的内存位置、在分配时对应的可分配内存位置信息的映射关系。

7.根据权利要求2所述的内存分配方法，其中所述确定在所述内存资源池中当前张量对应的可分配内存位置，包括：

根据当前张量的张量属性信息和上下文信息，确定在所述内存资源池中当前张量对应的可分配内存位置，所述上下文信息包括内存分配时间排在当前张量之后的其他张量的张量属性信息。

8.根据权利要求7所述的内存分配方法，其中所述张量属性信息包括张量大小、张量类型、内存分配时间和内存释放时间中的一种或多种。

9.根据权利要求8所述的内存分配方法，其中所述根据当前张量的张量属性信息和上下文信息，确定在所述内存资源池中当前张量对应的可分配内存位置，包括：

根据当前张量的张量大小、内存分配时间、内存释放时间，以及所述上下文信息中其他张量的张量大小、内存分配时间、内存释放时间，对当前张量和其他张量进行内存分配组合，每一内存分配组合对应一种当前张量和其他张量的内存位置分配情况；

在进行内存分配组合中，当任意两个张量满足内存复用条件时，将该两个张量相邻设置，且该两个张量中先释放内存的一个张量的内存位置设置为在释放后分配给另一个张量使用；

针对每一个内存分配组合，当该内存分配组合所需的内存大小小于或等于内存资源池的可用内存大小时，将该内存分配组合中当前张量对应的内存位置确定为当前张量对应的可分配内存位置。