[发明专利]一种边-端协同梯度压缩聚合方法以及装置在审
申请号: | 202011361273.0 | 申请日: | 2020-11-27 |
公开(公告)号: | CN112418440A | 公开(公告)日: | 2021-02-26 |
发明(设计)人: | 孙远;李振宇;黄韬 | 申请(专利权)人: | 网络通信与安全紫金山实验室 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F17/16 |
代理公司: | 江苏圣典律师事务所 32237 | 代理人: | 贺翔 |
地址: | 211100 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种边‑端协同梯度压缩聚合方法以及装置,属于机器学习领域,其中边‑端协同梯度压缩聚合方法包括:等待当次训练迭代开始;根据当前的迭代次数端设备和边缘服务选择梯度压缩聚合模式;根据所述梯度压缩矩阵进行梯度压缩与近似梯度计算;该边‑端协同梯度压缩聚合方法通过在梯度压缩、解压过程使用了基于近似梯度的边‑端协同梯度压缩矩阵计算方法,实现了梯度压缩矩阵计算与前、后向传播的并行,不仅减少了串行插入到端设备后向传播与模型更新操作之间集合通信次数,又也减少了端设备上的计算量,有效提升了面向网络边缘的分布式模型训练的速度。 | ||
搜索关键词: | 一种 协同 梯度 压缩 聚合 方法 以及 装置 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网络通信与安全紫金山实验室,未经网络通信与安全紫金山实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011361273.0/,转载请声明来源钻瓜专利网。
- 上一篇:一种浮标式电源
- 下一篇:一种锂电池的致密型固体电解质及制备方法