[发明专利]基于强化学习的内存分配方法及装置

权利要求书

1.一种基于强化学习的内存分配方法，应用于众核芯片，所述众核芯片包括多个计算核，每个所述计算核对应配置有独立内存，所述方法包括：在当前轮次迭代中，依次对当前计算核对应的各算子进行内存分配操作，所述算子包括至少一个张量，所述张量的张量类型与所在算子的算子类型相同；

所述内存分配操作包括：

在当前可用内存的当前内存分配状态下，根据当前张量的张量属性信息和当前张量的上下文信息，确定当前张量对应的可分配内存位置；所述当前内存分配状态表征在当前轮次迭代中已分配的各张量的内存分配情况，所述上下文信息包括内存分配时间排在当前张量之后的其他张量的张量属性信息，所述张量属性信息包括张量类型、张量大小、张量的内存分配时间和内存释放时间；

根据当前张量在每一个可分配内存位置对应的内存分配状态的状态价值分数，对当前张量进行内存分配，并更新当前可用内存的当前内存分配状态。

2.根据权利要求1所述的内存分配方法，其中所述根据当前张量在每一个可分配内存位置对应的内存分配状态的状态价值分数，对当前张量进行内存分配，并更新当前可用内存的当前内存分配状态，包括：

针对当前张量对应的每个可分配内存位置，确定选取该可分配内存位置对当前张量进行内存分配时的内存分配状态的状态价值分数；

根据状态价值分数最高的内存分配状态所对应的可分配内存位置，对当前张量进行内存分配，并更新当前可用内存的当前内存分配状态。

3.根据权利要求1所述的内存分配方法，其中所述根据当前张量的张量属性信息和当前张量的上下文信息，确定当前张量对应的可分配内存位置，包括：

确定当前内存分配状态下当前可用内存中的所有空闲内存位置；

在所有空闲内存位置中，去除与当前张量的张量类型不匹配的空闲内存位置；

根据当前张量的张量大小、内存分配时间、内存释放时间，以及所述上下文信息中其他张量的张量大小、内存分配时间、内存释放时间，从剩余的空闲内存位置中确定出当前张量对应的可分配内存位置。

4.根据权利要求3所述的内存分配方法，其中所述根据当前张量的张量大小、内存分配时间、内存释放时间，以及所述上下文信息中其他张量的张量大小、内存分配时间、内存释放时间，从剩余的空闲内存位置中确定出当前张量对应的可分配内存位置，包括：

根据当前张量的张量大小、内存分配时间、内存释放时间，以及所述上下文信息中其他张量的张量大小、内存分配时间、内存释放时间，对当前张量和其他张量进行内存分配组合，每一内存分配组合对应一种当前张量和其他张量在剩余的空闲内存位置中的分配情况；

在进行内存分配组合中，当任意两个张量满足内存复用条件时，将该两个张量相邻设置，且该两个张量中先释放内存的一个张量的内存位置设置为在释放后分配给另一个张量使用；

针对每一个内存分配组合，当该内存分配组合所需的内存大小小于或等于剩余的空闲内存位置对应的总内存大小时，将该内存分配组合中当前张量对应的空闲内存位置确定为当前张量对应的可分配内存位置。

5.根据权利要求1所述的内存分配方法，其中在所述根据当前张量的张量属性信息和当前张量的上下文信息，确定当前张量对应的可分配内存位置之前，所述方法还包括：

当前内存分配状态下，检查已分配内存位置的张量是否满足内存释放条件；

当已分配内存位置的张量满足内存释放条件时，将该张量对应的内存位置释放至当前可用内存中；

其中，所述内存释放条件包括已分配内存位置的张量的内存释放时间等于当前张量的内存分配时间。

6.根据权利要求2所述的内存分配方法，其中在对当前张量进行内存分配失败的情况下，所述方法还包括：

获取已分配的各张量分别对应的状态惩罚值；所述已分配的各张量包括当前张量，以及在分配当前张量的内存位置之前已分配内存位置的各张量；

根据已分配的各张量分别对应的状态惩罚值，更新已分配的各张量分别对应的内存分配状态的状态价值分数。