[发明专利]一种适用于分布式机器学习的参数同步优化方法及其系统

摘要

本发明提供了一种适用于分布式机器学习的参数同步优化方法及其系统，使用参数服务器分布式方式实现的机器学习算法，解决现有算法在参数同步过程中的瓶颈。本发明系统包括参数服务器端的资源监控和分配模块、参数维护模块，各工作节点的服务器资源请求模块、参数同步时间间隔控制模块、未同步时间累计模块、参数计算模块和参数同步模块。本发明通过监控参数服务器资源占用情况，为不同工作节点选取不同同步时间间隔来避免请求突发情况，同时保证选取的时间间隔能够同时满足降低通信频率和确保训练准确率，以有效解决现有分布式机器学习系统在参数同步过程中所面临的瓶颈问题。

主权项

1.一种适用于分布式机器学习的参数同步优化系统，其特征在于，包括位于参数服务器端的资源监控和分配模块、参数维护模块，位于各工作节点端的服务器资源请求模块、参数同步时间间隔控制模块、未同步时间累计模块、参数计算模块和参数同步模块；其中工作节点端，未同步时间累计模块与工作节点内其他各模块相连，另外服务器资源请求模块和参数计算模块还各自与参数同步时间间隔控制模块和参数同步模块相连，同时服务器端资源监控和分配模块与工作节点端服务器资源请求模块相连，服务器端参数维护模块与工作节点端参数同步模块相连；所述参数服务器端的资源监控和分配模块，用于负责监控参数服务器的资源使用情况，在接收到来自某工作节点的资源请求后，分析当前资源利用情况，若资源可用则分配服务器资源给相应工作节点的服务器资源请求模块，否则向该工作节点回复资源不可用；所述参数服务器端的参数维护模块，用于负责在服务器端维护算法模型参数，响应来自工作节点的参数更新请求：若请求目标为更新服务器参数，则该模块根据得到的参数梯度计算并更新当前参数；若请求目标为获得服务器参数，则参数服务器端的参数维护模块拷贝当前服务器参数并返回给相应工作节点的参数同步模块；所述位于各工作节点端的服务器资源请求模块，用于在收到未同步时间累计模块的“达到参数同步时间点”通知时，向资源监控和分配模块请求分配资源，若得到许可则交付参数同步模块进行参数同步，否则将任务交给参数同步时间间隔控制模块进一步进行时间间隔控制；所述位于各工作节点端的参数同步时间间隔控制模块，用于负责在接收到参数同步模块的通知或接收到来自服务器资源请求模块的通知时，设置合理的参数同步间隔时间，降低对服务器资源的竞争以减轻瓶颈；所述位于各工作节点端的未同步时间累计模块，用于负责记录上一次设置参数同步间隔到现在为止的时间，一旦该时间达到参数同步时间间隔控制模块规定的参数同步时间间隔后，则通知服务器资源请求模块申请同步资源；在资源申请失败时，如果当前累计未同步时间达到同步时间间隔上限值时，则通知参数同步模块进行强制同步，其中所述当前累计未同步时间为上一次成功同步后到当前的时间；所述位于各工作节点端的参数计算模块，用于负责根据训练数据在工作节点进行本地参数计算的工作；所述参数指的是用于建立神经网络模型的矩阵变量，参数服务器根据用户定义的神经网络模型结构随机初始化神经网络模型参数；所述位于各工作节点端的参数同步模块，用于负责在获得参数服务器的资源许可之后或者接收到未同步时间累计模块的强制同步命令后，和参数服务器之间进行参数同步。