[发明专利]分布式机器学习通信优化方法、装置、服务器及终端设备

说明书

本申请适用于机器学习技术领域，尤其涉及一种分布式机器学习通信优化方法、装置、服务器及终端设备。根据多个计算节点的梯度，更新服务器节点的全局模型的参数；从多个计算节点中选取预设个数的计算节点；将第一标志位信息和全局模型更新后的参数输出给预设个数的计算节点，预设个数的计算节点根据全局模型更新后的参数更新本地模型；将第二标志位信息输出给剩余计算节点，剩余计算节点不接收服务器输出的全局模型更新后的参数，并根据自身的梯度更新本地模型。从而减少了分布式机器学习模型的计算节点与服务器节点之间的拉取通信量，减少了交互通信开销，提高了分布式机器学习的通信效率，降低了在特殊场景下的计算节点的通信花费。

技术领域

本申请属于机器学习技术领域，尤其涉及一种分布式机器学习通信优化方法、装置、服务器及终端设备。

背景技术

现有的分布式机器学习方法，在一次迭代过程中，每一个计算节点负责执行训练并计算梯度参数，并执行push()操作(即推送操作)，将梯度参数推送到服务器节点；服务器节点在接收到梯度参数后，根据更新公式计算更新参数，并执行pull()操作(即拉取操作)，将更新参数拉取到每一个计算节点进行本地更新；由于节点中模型的深度越来越深，服务器节点与计算节点之间需要推送和拉取的参数数量急剧增加，导致网络开销较大、通信量较大，从而造成通信延迟，影响训练速度。现有技术是通过对梯度参数或权重参数做量化处理，从而压缩梯度，以减少节点间传输的数据量；但是上述方式需要增加量化处理，且在量化处理中需要利用复杂的量化、变换公式，导致压缩梯度过程较为复杂，不易于实现，压缩结果具有局限性，造成优化通信效果不佳。

发明内容

本申请实施例提供了一种分布式机器学习通信优化方法、装置、服务器及终端设备，可以解决现有通信优化方法优化效果不佳的问题。

第一方面，本申请实施例提供了一种分布式机器学习通信优化方法，所述分布式机器学习通信优化方法包括：

获取多个计算节点的梯度；

根据所述多个计算节点的梯度，更新服务器节点的全局模型的参数；

获取所述全局模型更新后的参数；

从所述多个计算节点中选取预设个数的计算节点；

将第一标志位信息和所述全局模型更新后的参数输出给所述预设个数的计算节点，其中，所述第一标志位信息用于指示所述预设个数的计算节点根据所述全局模型更新后的参数更新本地模型；

将第二标志位信息和所述全局模型更新后的参数输出给剩余计算节点，其中，所述剩余计算节点是指所述多个计算节点中除所述预设个数的计算节点之外的计算节点，所述第二标志位信息用于指示所述剩余计算节点不接收所述服务器输出的所述全局模型更新后的参数，并指示所述剩余计算节点根据自身的梯度更新本地模型。

第二方面，本申请实施例提供了一种分布式机器学习通信优化方法，所述分布式机器学习通信优化方法包括：

获取计算节点的梯度；

将所述计算节点的梯度发送给服务器，其中，所述计算节点的梯度用于指示所述服务器根据接收到的多个计算节点的梯度更新服务器中服务器节点的全局模型的参数，并向所述计算节点反馈标志位信息；

接收所述标志位信息；

根据所述标志位信息，获取目标参数；

根据所述目标参数更新所述计算节点的本地模型。

第三方面，本申请实施例提供了一种分布式机器学习通信优化装置，所述分布式机器学习通信优化装置包括：

梯度获取模块，用于获取多个计算节点的梯度；

参数更新模块，用于根据所述多个计算节点的梯度，更新服务器节点的全局模型的参数；