[发明专利]一种具有动态学习速率边界的分布式自适应矩估计方法在审
| 申请号： | 201910941984.6 | 申请日： | 2019-09-30 |
| 公开（公告）号： | CN110659745A | 公开（公告）日： | 2020-01-07 |
| 发明（设计）人： | 申修宇;李德权;方润月 | 申请（专利权）人： | 安徽理工大学 |
| 主分类号： | G06N20/10 | 分类号： | G06N20/10 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 232001 安徽*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 基于自适应梯度的优化方法如ADAGRAD、RMSPROP、ADAM等被广泛应用于解决包括深度学习在内的大规模机器学习问题。在现有的工作中，已经针对外围节点与中心节点的通信并行化问题提出了许多解决方案，但通信成本往往较高。并且现有的方法普遍存在泛化能力较差，甚至由于不稳定和极端的学习率而无法收敛。为了解决目前存在的问题，开发了一种新的具有动态学习速率边界的分布式自适应矩估计方法(DADBOUND)，用于在分散网络上进行在线优化，从而实现数据并行化和分散计算。并且该方法利用学习率的动态范围来实现从自适应方法到DSGD的渐进平稳过渡，以消除自适应方法和DSGD之间的泛化差距，同时在训练初期保持较高的学习速度。最后，对各种任务进行了实验验证，结果表明DADBOUND方法在实际应用中效果良好，与其他在线优化方法相比具有一定的优势。 | ||
| 搜索关键词： | 自适应 在线优化 并行化 学习 动态学习 分散网络 机器学习 实验验证 通信成本 外围节点 中心节点 矩估计 渐进 收敛 应用 通信 优化 开发 | ||
【主权项】：
1.一种具有动态学习速率边界的分布式自适应矩估计方法，其特征在于:网络拓扑的自适应性，分布式网络中所有节点只能与其邻居通信，没有一个节点被指定为“中心”。并且受梯度裁剪的启发，在分布式ADAM中使用了学习速率的裁剪，用于裁剪大于阈值的学习率，以避免极端学习率的发生。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽理工大学，未经安徽理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910941984.6/，转载请声明来源钻瓜专利网。
- 上一篇：训练事件预测模型、评估操作事件的方法及装置
- 下一篇：一种企业生产管理系统
