[发明专利]一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法

权利要求书

1.一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法，包括如下步骤：

1、对所有智能体i∈V的所有变量进行初始化设置；

2、将所有智能体i∈V的迭代次数k设置为0，再设置一个最大迭代次数k_max作为算法停止迭代更新的准则；

3、搭建一个有向强连通的非平衡源网络G；根据G的邻接矩阵，可以得到行随机矩阵A和列随机矩阵B；与此同时，还引入矩阵W＝{w^ij}来表示矩阵A或B；对于智能体i∈V，存在使得对于(j,i)∈E，存在使得否则，w^ij＝0；其中V＝{1,…,m}表示节点集合；

4、根据激活规则确定激活智能体i_k和相关联的时延值其中，激活智能体i_k的个数大于等于1，

5、清除过时信息；

6、在源网络G的基础上通过添加虚拟智能体搭建增广网络从而得到增广行随机矩阵和增广列随机矩阵

7、设置0＜T＜∞、0＜D＜∞；其中，T表示所有的智能体在T次迭代内必须激活至少一次；D表示最大时延值，即：时延信息在D的范围内迭代是可以有效使用的；如果时延信息超过D后的迭代，则时延信息就过期将被系统清除；

8、根据建立的通信网络图以及行列随机矩阵的属性，计算下列参数：

其中K₁＝(2m-1)T+mD；

9、根据目标函数的强凸系数μ以及利普希茨连续系数L_f，计算下列参数：

a₉＝C₄mL_fλ，

a₂＝(1+ρ)C₁,a₁₀＝C₄mL_f,

a₃＝C₁m,a₁₁＝μη²,a₁₅＝2m,

a₄＝C₁mL_f,a₁₂＝mL_f,a₁₆＝m. 其中，定义为源网络G中的智能体和增广网络中的虚拟智能体总集合；

10、根据目标函数的强凸系数μ以及利普希茨连续系数L_f，计算最大步长最大步长与最小步长之差Δ_α以及最大动量参数如下：

其中，ω₁,ω₂,ω₃,ω₄是任意正整数，且满足0＜ω₃，以及

11、每个激活智能体i_k更新变量如下：

12、每个激活智能体i_k更新变量如下：

其中，是重球动量项，用于加速变量的更新计算；

13、引入变量采用Nesterov梯度加速法进行双加速运算，具体过程如下：

对于每个激活智能体i_k，有

其中，是Nesterov动量项，用于加速动态平均一致法中梯度计算；

14、通过“和”、“推”两个步骤建立对异步通信网络具有强鲁棒性的梯度跟踪机制：

其中，

“和”步骤的过程如下：

“推”步骤的过程如下：

15、对缓冲变量进行如下更新：

其中缓冲变量该变量储存由智能体j发送给智能体i_k的累和信息且该信息已经被智能体i_k在最近一次更新计算中所使用；

16、没有激活的智能体保持上一刻的变量值不变，将迭代次数k加1，并返回到第五步继续执行算法过程，直到k≥k_max，算法停止运行。

2.根据权利要求1所述的一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法，其特征在于：所述步骤1中所有智能体i∈V的所有变量初始化设置操作如下：

对于任意智能体以及对于t＝-D,…,0，