[发明专利]一种基于迭代处理的主对偶分布式加速优化方法

权利要求书

1.一种基于迭代处理的主对偶分布式加速优化方法，其特征在于：该方法基于迭代处理的分布式计算方式，采用Nesterov梯度加速技术，主要包括以下步骤：

S1：确定目标函数；

S2：搭建通信网络；

S3：变量初始化；

S4：选取合适的步长和动量参数；

S5：变量更新。

2.根据权利要求1所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：在步骤S1中，确定目标函数以及目标函数的强凸系数μ和利普希茨常数l，其中l≥μ＞0，具体包括：设定目标函数：

其中，每个局部目标函数，只被节点i知道；同时，每个局部目标函数f_i是强凸且利普希茨连续的，强凸系数和利普希茨常数分别为μ和l，即：对于以及有以及||▽f_i(x₁)-▽f_i(x₂)||≤l||x₁-x₂||，其中▽f_i表示f_i的梯度；问题P1的最优解用表示；分析问题P1的等价形式如下：

约束xⁱ＝x^j是为了使每个节点局部最优解一致。

3.根据权利要求2所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：在步骤S2中，搭建无向通信网络构建与网络拓扑相关的双随机矩阵W；考虑含有m个节点的无向连通通信网络，其中表示节点集，ε表示无向边集，即：对于如果节点i和节点j之间存在通信链路，用(i,j)表示，有(i,j)∈ε；用表示节点i的邻居节点集合，该集合也包含节点i自身；如果以及(j,i)∈ε，有W_ij＞0且定义L＝I_m-W和可调矩阵其中B是一个对称矩阵且满足：对于任意存在常数使得

4.根据权利要求3所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：在步骤S3中，每个节点设置k＝0以及一个最大迭代次数k_max；每个节点i持有三个变量：sⁱ，xⁱ，uⁱ；主变量sⁱ和xⁱ都是对局部最优解的估计，对偶变量uⁱ是一个辅助变量；在第k次迭代时刻，三个变量的值分别表示为对每个节点所持的所有变量进行初始化设置：设置定义参数：σ＝||W-J_m||，ε＝||I_m-W||，φ＝||I_m-J_m||，选择任意常数θ₃,θ₄＞0，然后选取常数θ₁，使其满足最后选取常数θ₂，使其满足

5.根据权利要求4所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：在步骤S4中，利用下式计算最大步长

再选择常数Δ_α，其表示最大步长与最小步长之差，使其满足：

最后，利用下式计算最大Nesterov动量参数：

6.根据权利要求5所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：每个节点选择常数步长αⁱ和常数动量项βⁱ，使其分别满足：和

7.根据权利要求6所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：每个节点接收邻居节点j，发送的信息以及结合自身所携带的信息更新变量具体迭代计算表达式如下：

8.根据权利要求7所述的基于迭代处理的主对偶分布式加速优化方法，其特征在于：在步骤S5中，每个节点根据最新变量更新变量更新规则如下：