[发明专利]使用合成梯度来训练神经网络

权利要求书

1.一种由一个或多个计算机执行的用于通过优化目标函数来在多个训练输入上训练神经网络的方法，

其中，所述神经网络被配置成接收网络输入并且处理所述网络输入以生成网络输出，

其中，所述神经网络包括后面有第二子网络的第一子网络，

其中，所述第一子网络被配置成在通过所述神经网络对所述网络输入的处理期间，接收子网络输入，处理所述子网络输入以生成子网络激活，并且将所述子网络激活作为输入提供给所述第二子网络，并且

其中，所述方法包括针对每个训练输入：

使用所述神经网络来处理所述训练输入以为所述训练输入生成训练模型输出，包括：

使用所述第一子网络来处理用于所述训练输入的子网络输入以根据所述第一子网络的参数的当前值为所述训练输入生成子网络激活，以及

将所述子网络激活作为输入提供给所述第二子网络；

通过使用合成梯度模型来根据所述合成梯度模型的参数的当前值处理所述子网络激活而确定用于所述第一子网络的所述目标函数的合成梯度；以及

使用所述合成梯度来更新所述第一子网络的所述参数的所述当前值。

2.根据权利要求1所述的方法，其中，所述合成梯度模型是与所述神经网络、所述第一子网络和所述第二子网络中的每一个不同的神经网络。

3.根据权利要求1或2中的任一项所述的方法，还包括针对每个训练输入：

确定用于所述第一子网络的目标梯度；以及

基于所述目标梯度与所述合成梯度之间的误差来更新所述合成梯度模型的所述参数的所述当前值。

4.根据权利要求3所述的方法，其中，确定用于所述第一子网络的所述目标梯度包括：

通过所述神经网络反向传播所述目标函数的实际梯度以确定所述目标梯度；或者

通过所述第二子网络反向传播用于所述第二子网络的合成梯度以确定用于所述第一子网络的所述目标梯度。

5.根据权利要求1至4中的任一项所述的方法，其中，所述第一子网络包括多个神经网络层，并且其中，使用所述合成梯度来更新所述第一子网络的所述参数的所述当前值包括：

通过所述第一子网络反向传播所述合成梯度以更新所述第一子网络的所述参数的所述当前值。

6.根据权利要求1至4中的任一项所述的方法，其中，所述神经网络是前馈神经网络，所述第一子网络是第一神经网络层，并且所述第二子网络是第二神经网络层。

7.根据权利要求1至5中的任一项所述的方法，其中，所述神经网络是展开的递归神经网络，所述第一子网络是在第一时间步的所述递归神经网络，并且所述第二子网络是在第二时间步的所述递归神经网络。

8.根据权利要求7所述的方法，还包括：

通过使用所述合成梯度模型来根据所述合成梯度模型的参数的当前值处理所述子网络激活而确定用于所述第一子网络的所述目标函数的至少一个将来的合成梯度；以及

基于每个将来的合成梯度与对应的目标将来的梯度之间的误差来更新所述合成梯度模型的所述参数的所述当前值。

9.根据权利要求1至8中的任一项所述的方法，其中，使用所述合成梯度来更新所述第一子网络的所述参数的所述当前值包括使用所述合成梯度代替实际的反向传播梯度来更新所述参数的所述当前值。

10.根据权利要求1至9中的任一项所述的方法，其中，使用所述合成梯度来更新所述第一子网络的所述参数的所述当前值包括与更新所述第二子网络的所述参数的当前值异步地使用所述合成梯度来更新所述参数的所述当前值。

11.根据权利要求1至10中的任一项所述的方法，其中，所述第一子网络被实现在一个计算设备上并且所述第二子网络被实现在不同的计算设备上；并且可选地其中：

所述训练是跨越多个计算设备分布所述训练的分布式机器学习训练过程的一部分。