[发明专利]存储器高效的基于时间的反向传播

说明书

用于使用基于时间的反向传播来在训练序列上训练递归神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，一种方法包括：接收训练序列，包括在多个时间步中的每一个处的相应输入；获得定义分配给存储用于在反向传播期间使用的前向传播信息的存储量的数据；根据训练序列中的时间步的数量和根据分配给存储前向传播信息的存储量，确定用于处理训练序列的训练策略，其中，训练策略定义在训练序列的前向传播期间何时存储前向传播信息；以及根据训练策略在训练序列上训练递归神经网络。

技术领域

本说明书涉及训练递归神经网络。

背景技术

神经网络是机器学习模型，其使用一个或多个非线性单元层来对于接收的输入预测输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作对于在网络中下一层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络(recurrent neural network)是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自先前时间步的网络的一些或全部内部状态来计算在当前时间步的输出。

发明内容

通常，本说明书中描述的主题的一个创新方面可以体现在由一个或多个计算机执行的、用于使用基于时间的反向传播在多个训练序列上训练递归神经网络的方法，所述方法包括下述动作：接收训练序列，所述训练序列包括在多个时间步中的每一个处的相应输入；获得定义分配给存储用于在反向传播期间使用的前向传播信息的存储量的数据；根据训练序列中的时间步的数量和根据分配给存储所述前向传播信息的所述存储量，确定用于处理所述训练序列的训练策略，其中，所述训练策略定义在所述训练序列的前向传播期间何时存储前向传播信息；以及根据所述训练策略在所述训练序列上训练所述递归神经网络。

该方面的其他实施例可包括以下可选特征中的一个或多个。在一些实施方式中，在所述训练序列上训练所述递归神经网络包括：将在所述训练序列中的所述输入从所述序列中的第一时间步前向传播到所述序列中的最后时间步；在所述前向传播期间，根据所述训练策略存储前向传播信息；以及将梯度从所述序列中的所述最后时间步反向传播到所述序列中的所述第一时间步，包括：针对每个时间步，确定是否需要附加的前向传播信息来反向传播用于所述时间步的所述梯度，并且如果需要，则使用所存储的前向传播信息重新生成所述附加的前向传播信息。

在一些实施方式中，所述前向传播信息包括隐藏状态。在一些实现中，所述前向传播信息包括内部状态。在一些实施方式中，所述前向传播信息包括隐藏状态和内部状态这两者。在一些实施方式中，针对每个时间步，所述训练策略定义是否存储用于所述时间步的隐藏状态、内部状态或不存储其中的任何一个。在一些实施方式中，确定所述策略包括确定在后向传播期间平衡前向传播信息的缓存与前向传播信息的重新计算之间的折衷的策略。

在一些实施方式中，确定所述策略包括：对于每个时隙，基于所述时间步的数量和分配给存储所述前向传播信息的所述存储量来确定存储相关的前向传播信息段的计算成本；以及向所述训练策略添加一组被确定为具有最低计算成本的前向传播信息段；以及根据所述训练策略在所述训练序列上训练所述递归神经网络包括存储已经被添加到所述训练策略中的所述一组前向传播信息段。

在一些实施方式中，所述方法包括下述动作：根据所述策略确定在所述训练序列上训练所述递归神经网络的计算成本。在一些实现中，所述方法包括下述动作：提供识别所述计算成本的数据以呈现给用户。

该方面的其他实施例包括对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，其每个被配置为执行所述方法的动作。一个或多个计算机的系统可以被配置为借助于安装在系统上的软件、固件、硬件或其任何组合来执行特定操作或动作，所述软件、固件、硬件或其任何组合在操作中可以使系统执行所述动作。一个或多个计算机程序可以被配置为借助于包括当由数据处理装置执行时使所述装置执行所述动作的指令来执行特定操作或动作。