[发明专利]一种基于流水线环形参数通信的分布式深度学习方法在审
| 申请号： | 202110063425.7 | 申请日： | 2021-01-18 |
| 公开（公告）号： | CN112862088A | 公开（公告）日： | 2021-05-28 |
| 发明（设计）人： | 谢俊豪;杜云飞;卢宇彤;钟康游;郭贵鑫 | 申请（专利权）人： | 中山大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06F9/38;G06F9/54 |
| 代理公司： | 广州粤高专利商标代理有限公司 44102 | 代理人： | 张金福 |
| 地址： | 510260 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明为克服集群训练速度低、训练时间开销大的缺陷，提出一种基于流水线环形参数通信的分布式深度学习方法，包括以下步骤：获取训练模型，采用所述训练模型对集群中的计算节点进行初始化；采用流水线随机梯度下降法对集群中的计算节点进行分布式训练，执行训练模型更新、梯度计算，且期间并行执行梯度通信；当节点在本地上完成第i轮梯度计算后，对梯度数据进行压缩，然后启动通信线程执行环形AllReduce操作，同时启动第i+1轮迭代训练，至完成迭代训练。本发明采用环形AllReduce算法，通过环形通信来避免像参数服务器框架服务器节点的通信拥堵问题，通过本地流水线并行重叠计算与通信，减少时间消耗。 | ||
| 搜索关键词： | 一种 基于 流水线 环形 参数 通信 分布式 深度 学习方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中山大学，未经中山大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110063425.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种采用线计算的BCD译码电路
- 下一篇：一种钢板桩分离机构
