[发明专利]分布式机器学习通信优化方法、装置、服务器及终端设备

权利要求书

1.一种分布式机器学习通信优化方法，其特征在于，所述分布式机器学习通信优化方法包括：

获取多个计算节点的梯度；

根据所述多个计算节点的梯度，更新服务器节点的全局模型的参数；

获取所述全局模型更新后的参数；

从所述多个计算节点中选取预设个数的计算节点；

将第一标志位信息和所述全局模型更新后的参数输出给所述预设个数的计算节点，其中，所述第一标志位信息用于指示所述预设个数的计算节点根据所述全局模型更新后的参数更新本地模型；

将第二标志位信息和所述全局模型更新后的参数输出给剩余计算节点，其中，所述剩余计算节点是指所述多个计算节点中除所述预设个数的计算节点之外的计算节点，所述第二标志位信息用于指示所述剩余计算节点不接收所述服务器输出的所述全局模型更新后的参数，并指示所述剩余计算节点根据自身的梯度更新本地模型。

2.如权利要求1所述的分布式机器学习通信优化方法，其特征在于，所述从所述多个计算节点中选取预设个数的计算节点包括：

从所述多个计算节点中随机选取所述预设个数的计算节点。

3.如权利要求1或2所述的分布式机器学习通信优化方法，其特征在于，所述根据所述多个计算节点的梯度，更新服务器节点的全局模型的参数包括：

根据所述多个计算节点的梯度和预设参数更新公式，更新所述服务器节点的全局模型的参数，其中，所述预设参数更新公式为：

其中，η为学习率，P为总的计算节点数，g_i为第i个计算节点的梯度，ω′是所述全局模型的当前参数，ω是所述全局模型更新后的参数。

4.一种分布式机器学习通信优化方法，其特征在于，所述分布式机器学习通信优化方法包括：

获取计算节点的梯度；

将所述计算节点的梯度发送给服务器，其中，所述计算节点的梯度用于指示所述服务器根据接收到的多个计算节点的梯度更新服务器中服务器节点的全局模型的参数，并向所述计算节点反馈标志位信息；

接收所述标志位信息；

根据所述标志位信息，获取目标参数；

根据所述目标参数更新所述计算节点的本地模型。

5.如权利要求4所述的分布式机器学习通信优化方法，其特征在于，所述根据所述标志位信息，获取目标参数包括：

若所述标志位信息为第一标志位信息，则接收所述服务器反馈的所述全局模型更新后的参数，并确定该参数为所述目标参数；

若所述标志位信息为第二标志位信息，则拒绝接收所述服务器反馈的所述全局模型更新后的参数，并确定所述计算节点的梯度为所述目标参数；

其中，所述全局模型更新后的参数是所述服务器更新所述服务器节点的全局模型的参数后反馈的。

6.如权利要求4或5所述的分布式机器学习通信优化方法，其特征在于，所述根据所述目标参数更新所述计算节点的本地模型包括：

获取所述计算节点的本地模型的当前参数；

若所述标志位信息为第一标志位信息，则将所述计算节点的本地模型的当前参数替换为所述目标参数，所述目标参数为所述计算节点的本地模型更新后的参数；

若所述标志位信息为第二标志位信息，则将所述计算节点的本地模型的当前参数减去所述目标参数，所得差值为所述计算节点的本地模型更新后的参数。