[发明专利]使用带有急速更新的分布式参数服务器对神经网络进行优化的异步训练

说明书

一种训练神经网络的方法，其包括：在本地计算节点处，从一个或多个远程计算节点的集合接收远程参数；在所述本地计算节点中的本地神经网络中开始执行向前传递以基于所述远程参数确定最终输出；在所述本地神经网络中开始执行向后传递以确定所述本地神经网络的更新参数；并且在完成所述向后传递之前，将所述更新参数的子集传输到所述远程计算节点集合。

政府权利

本发明是在美国劳伦斯·利弗莫尔国家安全局的PathForward项目(DOE授予的主要合同编号DE-AC52-07NA27344，分包合同编号B620717)的政府支持下完成的。政府享有本发明中的某些权利。

背景技术

近年来，诸如深度神经网络之类的学习体系结构已经在计算机视觉、语音识别、自然语言处理、翻译以及许多其他领域取得了进步，从而在许多情况下允许计算机可比较地操作，或者在一些情况下甚至超出了人类执行这些任务的能力。神经网络的基本构建块是神经元，并且单个神经网络可以包括任意数量(例如，数千或数百万)的神经元，这些神经元以层连接，其中每一层中的神经元都从先前层接收其输入并向后续层提供其输出。每个神经元基于对其输入执行功能(例如求和)而生成输出，其中可调整的权重应用于输入。也可以调整添加到输出的偏差值。

反向传播是一种用于在神经网络中执行机器学习的技术，在这种技术中，基于将神经网络的最终输出与特定输入的期望输出进行比较来计算每个神经元的误差贡献。然后调整导致误差的各个神经元的权重和偏差，以使神经网络获得期望输出。计算在输出处的误差，并且权重调整从神经网络的最终层向初始层向后传播。

附图说明

在附图的图示中通过举例的方式而非限制的方式示出了本公开。

图1示出了计算节点集群的实施方案，该计算节点集群包括用于训练神经网络的集中式参数服务器。

图2示出了根据实施方案的包括用于训练神经网络的计算节点集群的计算系统。

图3示出了根据实施方案的用于训练神经网络的计算节点集群。

图4示出了根据实施方案的包括参数服务器的计算节点中的部件。

图5示出了根据实施方案的计算节点集群中的分布式参数服务器。

图6是示出根据实施方案的用于训练神经网络的过程的流程图。

具体实施方式

以下描述阐述了许多具体细节，诸如具体系统、部件、方法等的示例，以便提供对实施方案的良好理解。然而，本领域的技术人员将明白，可以在没有这些具体细节的情况下实践至少一些实施方案。在其他情况下，未详细描述公知的部件或方法，或以简单的框图格式呈现公知的部件或方法，以避免对实施方案不必要的混淆。因此，阐述的具体细节仅是示例性的。特定实现方式可以与这些示例性细节不同，并且仍被认为在实施方案的范围内。

在神经网络中执行多实例学习时可以使用反向传播技术，其中基于神经网络对训练集中多个实例的操作来调整神经网络中的参数。每个实例代表输入和期望输出的集合，与神经网络生成的实际输出进行比较。可以在单个计算节点的有限资源中实现根据这些方法运行的用于较小神经网络的训练框架。然而，扩展训练框架以适应大得多的神经网络可涉及将计算分布在多个计算节点(例如，多个图形处理单元(GPU)节点)上，每个计算节点对神经网络的对应部分(即，神经元子集)和/或使用训练集的对应部分执行反向传播过程。

一种用于在多个计算节点上扩展神经网络训练框架的方法使用集中式参数服务器来实现异步随机梯度下降(SGD)过程。图1示出了计算节点集群100的实施方案的框图，其中这种集中式参数服务器101用于训练包括层参数L1-LN的神经网络，其中LX表示神经网络的X层的本地参数。在训练过程期间，集中式参数服务器101负责更新和计算这些层L1-LN中的层参数(例如，权重和偏差)，并且将参数传达给计算节点102-104。