[发明专利]内存管理方法及装置

说明书

本说明书实施例中提供了一种内存管理方法及装置。方法包括：响应于内存分配请求，从若干特定资源类中确定目标资源类。其中每个特定资源类均继承组合资源类，组合资源类继承原始资源类；原始资源类定义单个张量的内存地址的地址指针和长度描述信息；组合资源类定义内存分配方法函数和若干原子资源组合方式；若干特定资源类对应若干特定资源组合方式，特定资源组合方式是基于一个或多个原子资源组合方式得到的。接着通过目标资源类定义的内存确定方法函数，确定按照与目标资源类相对应的目标资源组合方式为若干张量分配内存时，待分配给若干张量的内存地址。最后通过目标资源类继承自组合资源类的内存分配方法函数为若干张量分配内存。

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及一种内存管理方法及装置。

背景技术

深度学习技术已得到广泛的应用。例如，可以通过经训练的深度学习模型，实现语音识别任务、计算机视觉任务以及自然语言处理任务等。

随着深度学习技术被更加深入的研究，用于训练深度学习模型的优化器/深度学习框架，所涉及的内存管理方案可能会日益增多，新增的内存管理方案往往会更加复杂，且新增的内存管理方案还可能对既有的内存管理方案造成影响，为内存管理方案的持续优化和维护带来了客观的困难。

希望有一种新的技术方案，以期有利于对内存管理方案进行优化和维护。

发明内容

本说明书一个或多个实施例中提供了一种内存管理方法及装置。

第一方面，提供了一种内存管理方法，包括：首先接收内存分配请求，该内存分配请求包括相关于深度学习模型的若干张量。然后从预先部署的若干特定资源类中确定出目标资源类，其中每个特定资源类均继承组合资源类，组合资源类继承原始资源类；原始资源类定义了待分配给单个张量的内存地址的地址指针和长度描述信息；组合资源类利用长度描述信息和地址指针，定义内存分配方法函数以及若干原子资源组合方式；若干特定资源类对应若干特定资源组合方式，特定资源组合方式是基于若干原子资源组合方式中的一个或多个得到的。接着通过目标资源类定义的内存确定方法函数，确定待分配给若干张量的内存地址，其中，内存确定方法函数用于按照若干特定资源组合方式中与目标资源类对应的目标资源组合方式，确定待分配给若干张量的内存地址。然后按照所确定的待分配给各个张量的内存地址，通过目标资源类继承自组合资源类的内存分配方法函数为若干张量分配内存。

在一种可能的实施方式中，所述若干张量中的任一当前张量包括：输入深度学习模型的数据、深度学习模型的超参数、由深度学习模型的多个权重参数组成的向量或矩阵。

在一种可能的实施方式中，所述长度描述信息包括预定的字节长度和/或单个张量的数据类型。

在一种可能的实施方式中，所述若干原子资源组合方式包括以下各种原子资源组合方式中的至少一种：为单个张量分配专用的内存地址、为多个张量分配连续的内存地址、为多个张量分配共享的内存地址，以及按照指定字节对齐为多个张量分配连续的内存地址。

在一种可能的实施方式中，所述若干资源组合方式包括以下各种特定资源组合方式中的一种：

待分配给所述若干张量的内存地址连续；

待分配给所述若干张量的内存地址相同；

所述若干张量包括第一部分张量和第二部分张量，待分配给所述第一部分张量的内存地址组成连续内存区域，待分配给所述第二部分张量中的任一张量的内存地址包含于所述连续内存区域。