[发明专利]用于机器学习的单步延迟随机梯度下降训练方法在审
| 申请号： | 202010701949.X | 申请日： | 2020-07-20 |
| 公开（公告）号： | CN111882060A | 公开（公告）日： | 2020-11-03 |
| 发明（设计）人： | 董德尊;徐叶茂;徐炜遐;廖湘科 | 申请（专利权）人： | 中国人民解放军国防科技大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 北京丰浩知识产权代理事务所(普通合伙) 11781 | 代理人： | 董超 |
| 地址： | 410073 湖*** | 国省代码： | 湖南;43 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种用于机器学习的单步延迟随机梯度下降训练方法，包括以下步骤：定义全局更新函数和本地更新函数，在分布式训练模式下，更新函数在参数服务器中运行，在单节点训练模式下，更新函数在计算节点中运行；调整计算节点中计算与通信操作的执行顺序，在OD‑SGD训练模式下，计算节点在执行梯度发送操作的同时进行本地权重的更新操作；引入新的参数变量，以打破原有的数据依赖关系；执行分布式训练任务，设置预热阶段的迭代次数、额外指定用于本地更新的算法和对应的超参数。本发明可提高分布式深度学习训练过程中计算资源的利用率，同时在保证训练精度的前提下，提升了分布式训练速度，缩短神经网络模型的训练时间。 | ||
| 搜索关键词： | 用于 机器 学习 延迟 随机 梯度 下降 训练 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学，未经中国人民解放军国防科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010701949.X/，转载请声明来源钻瓜专利网。
