[发明专利]一种异步分布式深度学习训练方法、装置及系统在审
| 申请号： | 201910435688.9 | 申请日： | 2019-05-23 |
| 公开（公告）号： | CN110245743A | 公开（公告）日： | 2019-09-17 |
| 发明（设计）人： | 颜子杰;陈孟强;吴维刚;肖侬;陈志广 | 申请（专利权）人： | 中山大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06F16/174;H04L29/08 |
| 代理公司： | 北京慕达星云知识产权代理事务所(特殊普通合伙) 11465 | 代理人： | 曹鹏飞 |
| 地址： | 510000 广东省广州市大学*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种异步分布式深度学习训练方法、装置及系统。该方法应用于计算节点k，计算节点通过本地模型参数和本地数据进行前向传播得到损失值，再通过反向传播得到梯度更新，通过使用稀疏化函数，只发送梯度更新向量中信息量比较大的那些值，有效减小了计算节点到参数服务器的通信量。在异步随机梯度下降与参数服务器的基础概念上，通过对参数服务器回传计算节点的梯度进行通信压缩，有效的保证通信的压缩率，随着训练的不断进行，不断提高通信的压缩率，可以达到更好的压缩效果和更快的通信速度。 | ||
| 搜索关键词： | 计算节点 参数服务器 异步分布式 装置及系统 梯度更新 学习训练 压缩率 通信 反向传播 基础概念 模型参数 前向传播 随机梯度 通信压缩 通信量 回传 减小 稀疏 向量 信息量 发送 压缩 保证 | ||
【主权项】：
1.一种异步分布式深度学习训练方法，应用于计算节点k，其特征在于，循环执行以下步骤：读取预设数量的训练数据到内存中；根据所述训练数据及所述训练数据对应的期望输出，进行前向传播，生成模型的输出值；根据所述输出值计算与所述期望输出的误差，得到损失值Loss；根据所述Loss进行反向传播，计算梯度，并加上残差梯度rt，得到参数梯度向量![]()
计算梯度稀疏化结果![]()
Sparse表示稀疏化函数；σ表示压缩率；当第i次的参数梯度向量![]()
则将相应的梯度发送给参数服务器；接收参数服务器发来的信息，更新本地模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中山大学，未经中山大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910435688.9/，转载请声明来源钻瓜专利网。
