[发明专利]一种基于零阶梯度技术的分布式梯度追踪非凸优化方法

权利要求书

1.一种基于零阶梯度技术的分布式梯度追踪非凸优化方法，其特征在于，具体步骤如下：

步骤1：建立网络化分布式多主体优化模型，具体为寻找函数f(x)的最小化解，所述优化模型用下式表示：

其中f_i(x):R^d→R是节点i上非凸的局部隐私函数，d为优化变量的维度，R表示实数域，n为网络中的节点数目；x表示决策估计信息；f(x)存在最小值，即

步骤2：构建期望意义下强连通的图模型，使用时变随机图刻画网络化系统中复杂的信息交换关系；所述时变随机图表示为G(k):{V,E(k)},其中V:{1,2,…,n}为节点集合，为节点在k时刻发生信息交换的边集；在每个k时刻，节点i执行本地运算并与它的邻居节点j交换非隐私信息,即(i,j)∈E(k),j∈N_i(k)；N_i(k)表示k时刻节点i的邻居集合，信息交换阶段始终存在i∈N_i(k)描述节点i上的自环情形；k时刻，G(k)对应的邻接矩阵表示为A(k),当(i,j)∈E(k)时A(k)中的a_ij0,否则，a_ij＝0；A(k)满足双随机矩阵的性质：

其中1_n表示所有元素均为1的n×1维向量，表示向量1_n的转置向量，维度为1×n维；此外，期望意义下连通图对应的邻居矩阵记为

步骤3：使用变样本容量技术设计零阶梯度估计器如下：

其中x_i(k)表示k时刻节点i上的局部决策估计；μ_k表示k时刻使用的光滑参数，满足μ_k≤μ_k-1且N(k)表示k时刻采样样本次数，满足N(k-1)≤N(k)且u^q表示k时刻第q次采样使用的随机噪声μ，随机噪声μ由单位球面上的均匀分布U_sp生成；

步骤4：设置各个节点的初始决策状态x_i(0)∈R^d，估计初始时刻的梯度信息并初始化梯度估计信息为y_i(0)＝g_i(0)；选择合适的非协调步长0α_i(1-ρ_A)²/ρ_AL，更新k+1时刻隐私函数f_i(x)解的局部估计：

其中ρ_A＝E(‖A(k)-C‖)表示期望意义下矩阵A(k)-C的谱半径，L表示李普希兹常数；y_j(k)表示k时刻节点j上的全局梯度估计信息；根据步骤2，ρ_A∈(0,1)；

步骤5：利用步骤4得到的x_i(k+1)，执行k+1时刻关于隐私函数f_i(x)的梯度估计更新，梯度估计器使用步骤4给出的形式，进而得到：

步骤6：根据步骤5得到的g_j(k+1)，使用梯度追踪技术执行k+1时刻全局梯度估计的更新：

步骤7：判断是否满足终止条件

x_i(k+1)＝x_i(k+2)＝…＝x_i(k+l)

其中x_i(k+l)表示k时刻后状态第l次的更新；若不满足终止条件，继续执行步骤5-7的更新。