[发明专利]一种分布式机器学习系统及适用于其的通信调度方法

权利要求书

1.一种适用于分布式机器学习系统的通信调度方法，其特征在于，所述方法包括：

在分布式机器学习系统中设置自动机，通过自动机识别分布式机器学习系统中的参数服务器和工作节点；所述自动机为设置于参数服务器或交换机的网络芯片上的功能单元；

其中，自动机通过对分布式机器学习系统的所有节点进行网络流量分析，以识别分布式机器学习系统中的参数服务器和工作节点；而后在分布式机器学习系统的每次迭代训练中，参数服务器集中为所有n个工作节点分配参数，并对分布式机器学习系统中的所有节点进行通信调度；

所述自动机对分布式机器学习系统所有节点进行流量分析的具体过程为：

设当前状态为自动机的第一状态；

处于第一状态的自动机，在监测到分布式机器学习系统中的一个节点在时间T1内向n个节点发送数据量大于N1时，进入第二状态；并将其中发送数据的节点标记为第一节点，其他接收数据的n个节点均标记为第二节点；其中n≥1；

处于第二状态的自动机，在监测到分布式机器学习系统中的n个第二节点在时间T1内向第一节点发送数据量大于N1时，进入第三状态；否则自动机返回第一状态；

处于第三状态的自动机，在监测到分布式机器学习系统中的n个第二节点向第一节点发送数据量小于N2时，进入第四状态；否则自动机返回第一状态；

处于第四状态的自动机，在监测到到分布式机器学习系统中的第一节点向n个第二节点发送数据量小于N2时，进入第五状态；否则自动机返回第一状态；

自动机判断当前是否处于第五状态，若是，则第一节点为分布式机器学习系统中的参数服务器，n个第二节点均为分布式机器学习系统中的工作节点；

所述对分布式机器学习系统中的所有节点进行通信调度的方法包括：

参数服务器依次向每个工作节点发送对应分配的参数，在同一时间点只向一个工作节点发送对应分配的参数；

每个工作节点从参数服务器拉取到参数后，均立即开始根据参数计算梯度；

每个工作节点在完成梯度计算后，判断此时的参数服务器是否在接收其他工作节点推送的梯度，若否，则将当前工作节点计算得到的梯度推送给参数服务器。

2.根据权利要求1所述的方法，其特征在于，时间T1≤0.05s，数据量大于N1是指数据量大于10万个数据包，数据量小于N2是指数据量在1~1000个数据包范围内。

3.根据权利要求1所述的方法，其特征在于，参数服务器在同一时间点只向一个工作节点发送对应分配的参数时，待发送的其他工作节点对应分配的参数均依次放于队列中；当前工作节点对应分配的参数发送完成后，再从队列中获取下一个工作节点对应分配的参数，并发送给下一个工作节点。

4.一种分布式机器学习系统，其特征在于，包括参数服务器、n个工作节点、交换机和自动机；

所述自动机为设置于参数服务器或交换机的网络芯片上的功能单元，用于识别分布式机器学习系统中的参数服务器和n个工作节点；

其中，自动机通过对分布式机器学习系统的所有节点进行网络流量分析，以识别分布式机器学习系统中的参数服务器和工作节点；而后在分布式机器学习系统的每次迭代训练中，参数服务器集中为所有n个工作节点分配参数，并对分布式机器学习系统中的所有节点进行通信调度；

所述自动机对分布式机器学习系统所有节点进行流量分析的具体过程为：

设当前状态为自动机的第一状态；

处于第一状态的自动机，在监测到分布式机器学习系统中的一个节点在时间T1内向n个节点发送数据量大于N1时，进入第二状态；并将其中发送数据的节点标记为第一节点，其他接收数据的n个节点均标记为第二节点；其中n≥1；

处于第二状态的自动机，在监测到分布式机器学习系统中的n个第二节点在时间T1内向第一节点发送数据量大于N1时，进入第三状态；否则自动机返回第一状态；

处于第三状态的自动机，在监测到分布式机器学习系统中的n个第二节点向第一节点发送数据量小于N2时，进入第四状态；否则自动机返回第一状态；

处于第四状态的自动机，在监测到到分布式机器学习系统中的第一节点向n个第二节点发送数据量小于N2时，进入第五状态；否则自动机返回第一状态；

自动机判断当前是否处于第五状态，若是，则第一节点为分布式机器学习系统中的参数服务器，n个第二节点均为分布式机器学习系统中的工作节点；

所述参数服务器，用于：为n个工作节点分配参数，并依次向每个工作节点发送对应分配的参数，且在同一时间点只向一个工作节点发送对应分配的参数；

所述工作节点，用于：在参数服务器拉取到参数后立即开始根据参数计算梯度；并在完成梯度计算后，判断此时的参数服务器是否在接收其他工作节点推送的梯度，若否，则将自身工作节点计算得到的梯度推送给参数服务器。