[发明专利]基于众核芯片的内存分配方法和内存分配装置

权利要求书

1.一种基于众核芯片的内存分配方法，其中，所述众核芯片包括多个计算核，每个所述计算核配置有独立内存，所述内存分配方法包括：

获取待分配给目标计算核的至少一个神经网络算子的算子属性信息；

将各所述神经网络算子的算子属性信息输入预先获取的内存使用预测模型，预测得到所述至少一个神经网络算子在所述目标计算核对应的内存中最大的内存使用量；

在所述最大的内存使用量小于或等于所述目标计算核对应的内存的可用内存量的情况下，确定所述至少一个神经网络算子为所述目标计算核对应的目标分配算子；

将所述目标分配算子分配给所述目标计算核对应的内存。

2.根据权利要求1所述的内存分配方法，其中，在将各所述神经网络算子的算子属性信息输入预先获取的内存使用预测模型，预测得到所述至少一个神经网络算子在所述目标计算核对应的内存中最大的内存使用量之前，所述内存分配方法还包括：

基于多个计算核对应的训练数据训练内存使用预测模型，以获得训练后的所述内存使用预测模型；

其中，计算核对应的训练数据包括：分配给该计算核的至少一个训练神经网络算子的算子属性信息、以及所述至少一个训练神经网络算子在该计算核对应的内存中最大的内存使用量。

3.根据权利要求2所述的内存分配方法，其中，在所述基于多个计算核对应的训练数据训练内存使用预测模型，以获得训练后的所述内存使用预测模型之前，所述内存分配方法还包括：

对多个神经网络计算图中的每个神经网络计算图执行预设处理过程，以获得多个计算核对应的训练数据；

其中，所述预设处理过程包括：

对所述神经网络计算图进行编译，以将所述神经网络计算图对应的训练神经网络算子分配给所述众核芯片包括的多个计算核；

针对每一个计算核，获取该计算核对应的所述训练数据。

4.根据权利要求2所述的内存分配方法，其中，所述基于多个计算核对应的训练数据训练内存使用预测模型，以获得训练后的所述内存使用预测模型的步骤，包括：

对各所述计算核对应的所述训练数据进行预处理，所述预处理包括编码处理；

将预处理后的所述计算核对应的至少一个训练神经网络算子的算子属性信息作为所述内存使用预测模型的输入，将预处理后的所述计算核对应的至少一个训练神经网络算子在所述计算核对应的内存中最大的内存使用量作为学习目标，对所述内存使用预测模型进行训练，以获得训练后的所述内存使用预测模型。

5.根据权利要求4所述的内存分配方法，其中，所述内存使用预测模型包括循环神经网络模型。

6.根据权利要求1所述的内存分配方法，其中，所述算子属性信息包括以下至少一项：

算子标识、算子大小、算子类型、算子的内存分配时间和算子的内存释放时间。

7.根据权利要求1所述的内存分配方法，其中，所述内存分配方法还包括：

在所述最大的内存使用量大于所述目标计算核对应的内存的可用内存量的情况下，重新配置待分配给所述目标计算核的至少一个神经网络算子；

针对重新配置后的待分配给所述目标计算核的至少一个神经网络算子，返回执行获取待分配给目标计算核的至少一个神经网络算子的算子属性信息的步骤。

8.一种基于众核芯片的内存分配装置，其中，所述众核芯片包括多个计算核，每个所述计算核配置有独立内存，所述内存分配方法包括：

获取模块，用于获取待分配给目标计算核的至少一个神经网络算子的算子属性信息；

预测模块，用于将各所述神经网络算子的算子属性信息输入预先获取的内存使用预测模型，预测得到所述至少一个神经网络算子在所述目标计算核对应的内存中最大的内存使用量；

决策模块，用于在所述最大的内存使用量小于或等于所述目标计算核对应的内存的可用内存量的情况下，确定所述至少一个神经网络算子为所述目标计算核对应的目标分配算子；

分配模块，用于将所述目标分配算子分配给所述目标计算核对应的内存。