[发明专利]面向分布式深度学习的受限权重同步并行模型优化方法在审
| 申请号： | 202210421355.2 | 申请日： | 2022-04-21 |
| 公开（公告）号： | CN114780340A | 公开（公告）日： | 2022-07-22 |
| 发明（设计）人： | 朱伟波;薛梅婷;张纪林;赵乃良;徐沛然;姚蕊;孙超 | 申请（专利权）人： | 杭州电子科技大学 |
| 主分类号： | G06F11/30 | 分类号： | G06F11/30;G06F11/34;G06K9/62;G06N20/00 |
| 代理公司： | 杭州昊泽专利代理事务所(特殊普通合伙) 33449 | 代理人： | 黄前泽 |
| 地址： | 310018*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了面向分布式深度学习的受限权重同步并行模型优化方法。现有同步、异步结合模型会产生异步缺陷问题。本发明引入梯度聚合进程，若模型梯度聚合是全局同步方式，则将该轮模型梯度聚合的各计算节点的本地模型梯度求和取平均得到新全局模型梯度，并返回给所有计算节点；若模型梯度聚合是局部同步方式，则参数服务器节点根据各计算节点参与的局部同步次数计算出权重因子，然后计算参与局部同步的所有计算节点的模型梯度加权平均数，并将模型梯度加权平均数作为参与局部同步的各计算节点的新局部模型梯度。本发明在保证训练速度的前提下，解决滞后问题，提高模型训练的整体性能，并保证模型训练的准确率。 | ||
| 搜索关键词： | 面向 分布式 深度 学习 受限 权重 同步 并行 模型 优化 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学，未经杭州电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210421355.2/，转载请声明来源钻瓜专利网。
