[发明专利]一种用于分布式深度学习训练的本地更新方法

说明书

本发明公开了一种用于分布式深度学习训练的本地更新方法，具体包括以下步骤：对从参数服务器端取回的全局权重进行备份并保存到备份权重变量中；在每个计算节点中计算全局梯度；利用本地梯度和全局梯度对本地权重进行更新得到新的本地权重，并开始下一轮的迭代训练；在接下来的k‑1次迭代训练中，每个计算节点将基于各自独立的本地权重进行本地更新操作；在第k次迭代中，计算节点将执行该权重取回操作并保存到本地权重中，在完成全局梯度计算后，利用本地权重对备份权重的值进行覆盖。利用本发明进行分布式深度学习训练中的本地更新操作时，可以获得最高的模型收敛精度和训练速度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种分布式深度学习的训练更新方法。

背景技术

深度学习最近在计算机视觉、自然语言处理、自动驾驶、智能医疗等各个领域都取得了很大的成功。深度学习的兴起主要源于两个条件，一是通用和定制化硬件加速器(GPU，NPU，TPU等)的出现，该类硬件加速器在计算能力方面带来了巨大的进步，二是如ImageNet和CIFAR这样的通用训练数据集的开源。然而，随着深度神经网络和数据集规模的快速增长，用于训练的机器的计算能力成为瓶颈，需要几天或几周才能完成一个大型神经网络模型的训练，在这种情况下，分布式训练成为普遍的做法，它极大地提高了训练效率，提升了神经网络模型的研发速度。

随机梯度下降(SGD)是广泛用于分布式训练的优化方法。同步SGD(SSGD)和异步SGD(ASGD)是在分布式深度学习训练过程中最常用的两种更新方法。SSGD方法可以保证模型良好的收敛精度，但训练过程中的同步栅栏严重限制了分布式训练的速度。在同步随机梯度下降方法中，其采用的本地更新操作在模型训练过程中会占用部分计算资源，进而影响模型训练的性能。本地更新操作的核心就是本地更新方法，为了减少本地更新方法对计算资源的占用，本地更新操作中应当不包含复杂的计算操作，而为了保证更新的效果，该方法应当能够利用全局的权重或梯度信息。基于此，本发明公开了一种用于分布式深度学习训练的本地更新方法。

发明内容

为减少分布式深度学习训练中本地更新方法对计算资源的占用，同时保证训练更新的效果，本发明公开了一种用于分布式深度学习训练的本地更新方法(GLU)，延迟步数为k，该方法具体包括以下步骤：

S1，对从参数服务器端取回的t-1时刻全局权重w_t-1进行备份并保存到备份权重变量pre_weight中，此时t-1时刻各个计算节点的本地权重w′_t-1均等于t-1时刻全局权重w_t-1，也等于备份权重pre_weight。

S2，在每个计算节点中计算全局梯度grad_sync：

w′_t-1,i为t-1时刻第i个计算节点的本地权重，m和lr分别为参数服务器中设定的动量值和全局学习率；在进行k次本地更新操作后，将利用t时刻第i个计算节点的本地权重w′_t,i对pre_weight的值进行覆盖；

S3，对本地权重进行更新得到新的本地权重，本地更新的计算公式为：

其中w′_t,i为t时刻第i个计算节点的本地权重，loc_lr为本地学习率，α和β是用于决定本地梯度和全局梯度所占比例的系数，t-1时刻第i个计算节点权重w′_t-1,i的值取决于计算节点是否执行了取回操作(Pull)，取回操作是从参数服务器里将更新后的全局参数取回到计算节点中，如果执行了取回操作，则w′_t-1,i等于t-1时刻的全局权重w_t-1，如果未执行该操作，则w′_t-1,i取值为进行了本地更新操作的本地权重。为t-1时刻第i个计算节点的全局梯度，grad′_t-1,i为第i个计算节点t-1时刻的本地梯度，wd为权重下降系数。