[发明专利]基于Tensor访问的深度学习内存管理方法及系统

权利要求书

1.一种基于Tensor访问的深度学习内存管理方法，其特征在于，包含以下几个步骤:

步骤1：针对神经网络，收集执行流程中一次迭代过程的Tensor访问序列、Tensor的大小信息描绘相关决策产生的内存空间开销；同时收集数据交换和重新计算时使用的硬件平台性能信息，包括GPU和CPU之间转移的带宽、GPU上Tensor的重新计算时间，并描绘相关决策产生的时间开销；所述相关决策是对Tensor访问序列的执行决策，包括：无、转移、释放和重新计算；

步骤2：使用步骤1获得的内存空间开销和时间开销信息建立整数线性规划模型，并求解决策序列；其中，建立整数线性规划模型：

其中，A(i,t)表示Tensor在t阶段的决策变量，A的取值为{0,1,2,3,4}, 分别表示“无”、“从GPU转移到CPU”，“从CPU转移到GPU”，“释放”和“重新计算生成”五种决策；

利用整数线性规划解决工具来求解上述整数线性规划模型，其中，求解时需要满足的约束条件为：

a.在每个训练阶段t，GPU中Tensor的占有量小于GPU总内存容量限制；

b. 如果在t阶段要访问Tensor(i)，那么在t阶段Tensor(i)必须在GPU中，即要求S(t,i) = 1；S(t,i) 表示Tensor(i)在t阶段的状态，S的取值为{0,1,2}, 分别表示“不存在”、“在GPU中”，“在CPU中”；

c. 如果在t阶段Tensor(i)需要重新计算生成时，那么它的前序Tensor集合J也必须在GPU中，即对于任意 j∈ J，满足S(t,j)=1；

步骤3：将步骤2得到的决策序列应用于神经网络之后的每次迭代训练过程中。

2.根据权利要求1所述的基于Tensor访问的深度学习内存管理方法，其特征在于，所述步骤1中，描绘相关决策产生的内存空间开销具体为：

Mem(t) =Ʃ(S(t,i) = 1) * size(i)

其中，Mem(t)表示每个阶段t，GPU中Tensor的占有量；S(t,i) 表示Tensor(i)在t阶段的状态，S的取值为{0,1,2}, 分别表示“不存在”、“在GPU中”，“在CPU中”；i表示Tensor编号，t表示Tensor访问序列中的第t个阶段，size(i)为Tensor(i)的大小。

3.根据权利要求1所述的基于Tensor访问的深度学习内存管理方法，其特征在于，所述步骤1中，描绘相关决策产生的时间开销具体包括：

重新计算的时间开销表示为overhead(recomp,t,i)；

数据转移引入的时间开销表示为overhead(swap,t,i) = max{0, cost(i) – time(t-pre)}

其中，i表示Tensor编号，t表示Tensor访问序列中第t个阶段；cost(i)为Tensor(i)从GPU或CPU转移的成本：cost(i) = size(i)/bandwidth；size(i)为Tensor(i)的大小；time（t-pre）表示pre阶段到t阶段的时间。

4.根据权利要求1所述的基于Tensor访问的深度学习内存管理方法，其特征在于，将决策序列应用于神经网络之后的每次迭代训练过程中，具体为：

在前向传播的过程中，在每个阶段t开始时，根据求解的决策方案执行：若Tensor(i)需要转移，则执行转出的操作，将Tensor(i)的内存地址设为新的地址，同时更新状态；若Tensor(i)需要重新计算，则释放Tensor(i)的内存，并且记录下生成该Tensor(i)的计算操作和输入数据信息，更新状态；

在后向传播中，先对所有转出的tensor的再次访问时间进行从短到长排序，当内存足够时开始转入数据；并且在每个后向操作每个阶段开始时执行决策方案：若该阶段中，Tensor(i)需要重新计算，则根据生成该Tensor(i)的计算操作和输入数据重新执行计算操作。