[发明专利]一种分布式训练中的梯度更新方法及相关设备在审
| 申请号： | 201810833991.X | 申请日： | 2018-07-26 |
| 公开（公告）号： | CN109102075A | 公开（公告）日： | 2018-12-28 |
| 发明（设计）人： | 胡文晖;王鹏;王奇刚 | 申请（专利权）人： | 联想（北京）有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王宝筠 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种分布式训练中的梯度更新方法及相关设备，方法应用于计算节点服务器，所述方法包括：监测对目标数据进行分布式训练的全局轮换更新步数；基于所述全局轮换更新步数满足所述计算节点服务器的全局梯度更新条件的判断，将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；基于所述全局轮换更新步数不满足所述计算节点服务器的全局梯度更新条件的判断，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。 | ||
| 搜索关键词： | 梯度更新 计算节点 服务器 全局 步数 参数服务器 轮换 更新 目标数据 训练模型 累加 传输 监测 申请 | ||
【主权项】：
1.一种分布式训练中的梯度更新方法，应用于计算节点服务器，所述方法包括：监测对目标数据进行分布式训练的全局轮换更新步数；基于所述全局轮换更新步数满足所述计算节点服务器的全局梯度更新条件的判断，将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；基于所述全局轮换更新步数不满足所述计算节点服务器的全局梯度更新条件的判断，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于联想（北京）有限公司，未经联想（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810833991.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种训练装置
- 下一篇：模型训练方法、装置、设备及存储介质
