[发明专利]一种具有动态学习速率边界的分布式自适应矩估计方法

权利要求书

1.一种具有动态学习速率边界的分布式自适应矩估计方法，其特征在于:网络拓扑的自适应性，分布式网络中所有节点只能与其邻居通信，没有一个节点被指定为“中心”。并且受梯度裁剪的启发，在分布式ADAM中使用了学习速率的裁剪，用于裁剪大于阈值的学习率，以避免极端学习率的发生。

2.根据权利要求1所述的分布式网络中所有节点只能与其邻居通信，没有一个节点被指定为“中心”。其特征在于：在分布式在线凸优化设置中，每个节点代表一个个体，在每轮迭代中，个体产生决策信息，个体独立得提交决策信息并获得相应的成本函数。

3.根据权利要求1阐述的受梯度裁剪的启发，在分布式ADAM中使用了学习速率的裁剪，用于裁剪大于阈值的学习率，以避免极端学习率的发生。其特征在于：在训练过程中实施学习率裁剪，使得学习率始终处于一个合理的范围，避免极端学习率的出现。