[发明专利]存储器高效的基于时间的反向传播

权利要求书

1.一种由一个或多个计算机执行的用于使用基于时间的反向传播在多个训练序列上训练递归神经网络的方法，所述方法包括：

接收训练序列，所述训练序列包括在多个时间步中的每一个处的相应输入；

确定用于处理所述训练序列的训练策略，其中，所述训练策略定义在所述训练序列的前向传播期间何时存储前向传播信息，所述训练策略是诸如用于在后向传播期间平衡在前向传播信息的缓存与前向传播信息的重新计算之间的折衷；

其中，确定所述训练策略包括：

(i)获得定义分配给存储用于在反向传播期间使用的前向传播信息的存储量的数据；

(ii)确定以存储候选的形式的前向传播信息，其中，所述候选前向传播信息能够包括用于所述递归神经网络的时间步的隐藏状态和/或用于所述递归神经网络的时间步的内部状态；

(iii)识别用于存储来自存储器的前向传播信息的一个或多个策略，其中，每个策略包括如果遵循该策略则被存储的存储候选的序列；

(iv)确定用于每个策略的计算成本；其中，包括在选择不保存用于y个时间步的隐藏状态之后保存时间步的隐藏状态的策略的计算成本Q₁(t，m，y)由以下给出：

Q₁(t，m，y)＝y+C(y，m)+C(t-y，m-1)

其中，t是执行反向传播的时间步的数量，m是可用存储单元的数量，并且C(t，m)是给定分配的存储量等于m的情况下在t个时间步序列上反向传播的最低可能的计算成本；以及

包括在选择不保存y个时间步的内部状态之后保存时间步的内部状态的策略的计算成本Q₂(t，m，y)由以下给出：

Q₂(t，m，y)＝y+C(y-I，m)+C(t-y，m-α)

其中，t是执行反向传播的时间步的数量，m是可用存储单元的数量，a是时间步的内部状态的大小与时间步的隐藏状态的大小的比率，并且C(t，m)是给定分配的存储量等于m的情况下在t个时间步序列上反向传播的最低可能的计算成本；

(v)选择具有所述最低计算成本的策略；以及

(vi)从所选择的策略确定下一存储的位置和前向传播信息的类型；

(vii)在所述训练序列中划分时间步序列以获得第一子序列和第二子序列，所述第一子序列包括在所确定的下一个存储的位置之前的时间步，所述第二子序列包括在所确定的下一个存储的位置之后的时间步；以及

针对每个所获得的子序列递归地重复步骤(i)至(vii)以选择要存储的下一个前向传播信息的位置；

所述方法进一步包括：

通过以下根据所述训练策略在所述训练序列上训练所述递归神经网络：

将在所述训练序列中的所述输入从所述序列中的第一时间步前向传播到所述序列中的最后时间步；

在所述前向传播期间，根据所述训练策略存储前向传播信息；以及

将梯度从所述序列中的所述最后时间步反向传播到所述序列中的所述第一时间步，包括：

针对每个时间步，确定是否需要附加的前向传播信息来反向传播用于所述时间步的所述梯度，并且如果需要，则使用所存储的前向传播信息来重新生成所述附加的前向传播信息。

2.根据权利要求1所述的方法，其中，所述前向传播信息包括隐藏状态。

3.根据权利要求1所述的方法，其中，所述前向传播信息包括内部状态。

4.根据权利要求1所述的方法，其中，所述前向传播信息包括隐藏状态和内部状态两者。

5.根据权利要求4所述的方法，其中，所述训练策略针对每个时间步定义是否存储用于所述时间步的隐藏状态、内部状态、或不存储所述内部状态和所述内部状态中的任何一个。

6.根据权利要求1所述的方法，其中：

确定所述策略包括：

针对每个时隙，基于所述时间步的数量和分配给存储所述前向传播信息的所述存储量来确定存储相关的前向传播信息段的计算成本；以及

向所述训练策略添加一组被确定为具有最低计算成本的前向传播信息段；以及

根据所述训练策略在所述训练序列上训练所述递归神经网络包括存储已经被添加到所述训练策略中的所述一组前向传播信息段。