[发明专利]用于分布式深度学习训练的聚合通信方法有效
申请号: | 202210901380.0 | 申请日: | 2022-07-28 |
公开(公告)号: | CN115277454B | 公开(公告)日: | 2023-10-24 |
发明(设计)人: | 董德尊;黄泽彪;王笑雨;于恩达;汪杨海;杨维铃 | 申请(专利权)人: | 中国人民解放军国防科技大学 |
主分类号: | H04L41/16 | 分类号: | H04L41/16;H04L41/042;H04L41/5019;H04L49/15 |
代理公司: | 北京丰浩知识产权代理事务所(普通合伙) 11781 | 代理人: | 李强 |
地址: | 410073 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 暂无信息 | 说明书: | 暂无信息 |
摘要: | 本发明公开了一种用于分布式深度学习训练的聚合通信方法,其具体步骤包括:S1,收集各个计算节点的执行任务信息,聚合管理器将聚合通信操作所需的聚合通信资源分配给各个计算节点;S2,初始化通信域;S3,注册内存;S4,聚合交换机对接收到的数据执行聚合通信操作,得到当前聚合结果,该聚合交换机向其在可扩展的分层聚合协议树中的上一层的聚合交换机,根聚合交换机进行最终的聚合通信操作,得到最终聚合结果。本发明通过将传统的需要在计算节点进行的聚合通信操作转移到了交换机上执行,提高了计算节点的资源利用率,减缓了网络拥塞,消除了计算节点处理多任务时对聚合通信的影响,降低了分布式深度学习训练过程的通信开销,提升了训练性能。 | ||
搜索关键词: | 用于 分布式 深度 学习 训练 聚合 通信 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学,未经中国人民解放军国防科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202210901380.0/,转载请声明来源钻瓜专利网。