[发明专利]内存管理方法及装置

权利要求书

1.一种内存管理方法，包括：

接收内存分配请求；其中，所述内存分配请求包括相关于深度学习模型的若干张量，所述若干张量中的任一当前张量包括：输入深度学习模型的数据、深度学习模型的超参数、由深度学习模型的多个权重参数组成的向量或矩阵；

从预先部署的若干特定资源类中确定出目标资源类；其中，每个所述特定资源类均继承组合资源类，所述组合资源类继承原始资源类；所述原始资源类定义了待分配给单个张量的内存地址的地址指针和长度描述信息；所述组合资源类利用所述长度描述信息和所述地址指针，定义内存分配方法函数以及若干原子资源组合方式，所述若干原子资源组合方式包括以下各种原子资源组合方式中的至少一种：为单个张量分配专用的内存地址、为多个张量分配连续的内存地址、为多个张量分配共享的内存地址，以及按照指定字节对齐为多个张量分配连续的内存地址；所述若干特定资源类对应若干特定资源组合方式，所述特定资源组合方式是基于所述若干原子资源组合方式中的一个或多个得到的；

通过所述目标资源类定义的内存确定方法函数，确定待分配给所述若干张量的内存地址；其中，所述内存确定方法函数用于按照所述若干特定资源组合方式中与所述目标资源类对应的目标资源组合方式，确定待分配给所述若干张量的内存地址；

按照所确定待分配给所述若干张量的内存地址，通过所述目标资源类继承自所述组合资源类的内存分配方法函数，为所述若干张量分配内存。

2.根据权利要求1所述的方法，其中，所述长度描述信息包括预定的字节长度和/或单个张量的数据类型。

3.根据权利要求1所述的方法，其中，所述若干特定资源组合方式包括以下各种特定资源组合方式中的一种：

待分配给所述若干张量的内存地址连续；

待分配给所述若干张量的内存地址相同；

所述若干张量包括第一部分张量和第二部分张量，待分配给所述第一部分张量的内存地址组成连续内存区域，待分配给所述第二部分张量中的任一张量的内存地址包含于所述连续内存区域。

4.根据权利要求1所述的方法，其中，所述组合资源类还定义了资源列表和资源添加方法函数；

所述方法还包括：通过所述目标资源类继承自所述组合资源类的资源添加方法函数，向所述资源列表添加所述若干张量；

所述通过所述目标资源类定义的内存确定方法函数，确定待分配给所述若干张量的内存地址，具体包括：通过所述目标资源类定义的内存确定方法函数确定，按照所述若干特定资源组合方式中与所述目标资源类对应的目标资源组合方式为所述资源列表中的所述若干张量分配内存时，待分配给所述若干张量的内存地址。

5.根据权利要求1所述的方法，其中，所述组合资源类还定义了单个张量的生命周期和内存更新方法函数；

所述方法还包括：对于所述若干张量中的任一当前张量，根据所述当前张量的生命周期，通过所述目标资源类继承自所述组合资源类的内存更新方法函数，将分配给所述当前张量的内存地址上的数据更新为所述当前张量。

6.根据权利要求1所述的方法，其中，所述组合资源类还定义了内存释放方法函数；

所述方法还包括：

接收内存释放请求；其中，所述内存释放请求用于请求释放为所述若干张量分配的内存地址；

根据所述目标资源类继承自所述组合资源类的内存释放方法函数，释放为所述若干张量分配的内存地址。

7.根据权利要求1至6中任一所述的方法，其中，所述原始资源类还定义了执行所述内存管理方法的处理器的设备信息，所述设备信息包括所述处理器的设备标识和/或设备类型；

所述方法还包括：根据所述设备信息，从至少一个内存分配器中确定出与所述处理器相对应的目标内存分配器；

所述通过所述目标资源类继承自所述组合资源类的内存分配方法函数，为所述若干张量分配内存，包括：通过所述目标资源类继承自所述组合资源类的内存分配方法函数调用所述目标内存分配器，使所述目标内存分配器为所述若干张量分配内存。