[发明专利]一种分布式深度学习训练场景下压缩感知的梯度同步方法在审
| 申请号： | 202110893347.3 | 申请日： | 2021-08-04 |
| 公开（公告）号： | CN113592089A | 公开（公告）日： | 2021-11-02 |
| 发明（设计）人： | 李诚;许胤龙;白有辉;周泉;龚平 | 申请（专利权）人： | 中国科学技术大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 北京凯特来知识产权代理有限公司 11260 | 代理人： | 郑立明;韩珂 |
| 地址： | 230026 安*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式深度学习训练场景下压缩感知的梯度同步方法，首先，计算任务与传输任务解绑，并分类进行管理与调度，使得将不同梯度的压缩相关的计算隐藏在传输中成为可能；其次，本发明在保留原有Parameter Server和Ring‑allreduce特性的前提下，将发送给相同目的执行节点的梯度按批次管理，对发送给不同目的节点的批次协调其发送的时机，使得既保证了梯度压缩算法先验条件的同时，又高效并行地利用了网络的上下行带宽。结合以上两点技术方案，本发明能够大大提升开启梯度压缩的分布式深度学习的梯度同步速度。 | ||
| 搜索关键词： | 一种 分布式 深度 学习 训练 场景 压缩 感知 梯度 同步 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学技术大学，未经中国科学技术大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110893347.3/，转载请声明来源钻瓜专利网。
- 上一篇：8位吸嘴机械手结构
- 下一篇：量子态制备电路生成方法、超导量子芯片
