[发明专利]一种基于零阶梯度技术的分布式梯度追踪非凸优化方法

说明书

本发明提出一种基于零阶梯度技术的分布式梯度追踪非凸优化方法(VS‑ZOGT)，基于无梯度技术解决网络化系统中的非凸优化问题。特别地，采用变样本容量方法下设计了一类零阶梯度估计器框架以实现在有偏梯度估计情形下算法能够以固定步长的更新形式几乎确定性收敛。在网络通讯不稳定的场景中，使用随机网络模型执行分布式系统的信息交换任务，并使用独立的非协调步长执行各自主体上的优化目标。本发明能够保证稳定减少目标函数梯度估计的方差，并消除高维优化问题中收敛速度和函数查询复杂度之间的冲突关系。与已有的零阶优化方法相比，本发明方法是更有效率的非凸问题优化算法。另外，通过仿真实验证明上述技术方案的可行性和有效性。

技术领域

本发明涉及控制与信息技术领域，尤其涉及一种基于零阶梯度技术的分布式梯度追踪非凸优化方法。

背景技术

多主体网络是由一组自主体根据预设的通讯协议紧密耦合成的智能体组网，其中每个自主体可以认为是一个物理的实体或抽象的个体。每个自主体都具有简单的信息处理能力以及相邻自主体间的通信能力。在多主体网络中，单个自主体属性羸弱，其感知、计算、通信等能力均十分有限，不足以在复杂的任务场景中单独使用。但当一组自主体在预设通讯协议下构成紧密的耦合网络后，它们可以利用通讯实现分工合作的目的，进而有序地分配任务，获得复杂任务场景的解决方案。分布式优化问题是基于多主体网络的近一步探讨，旨在通过设计一类分布式算法使得拓扑网络中多主体邻居间局部信息的交换合作地最小化全局优化目标。受益于分布式优化算法灵活性高、可扩展性高和适应性强等优点，分布式优化问题已被广泛地应用到电网调度、多机器人轨迹规划与控制、多传感器网络以及深度学习等众多热门领域。

近年来随着研究的不断深入，用于解决分布式优化问题的算法不断涌现。表1列举了5种经典的优化算法。根据多主体网络中信息通信的形式，建模的网络拓扑模型主要分为固定拓扑模型和时变拓扑模型两种。根据拓扑演化的周期性行为，时变拓扑网络又分为B型连通网络和时变随机网络两类，其中B型连通网络指时间区间(B，B+1)上每个时刻k对应的通信网络可能是不连通的拓扑结构，但整个区间上通信网络的聚合拓扑是连通的结构，而时变随机网络没有这类连通性限制，仅要求期望意义下通信网络还是连通的拓扑结构。此外，根据分布式算法的步长形式分类，主要有衰减步长和固定步长两种选择。根据算法对任务成本函数的适用性分类，主要有凸优化与非凸优化算法两种。根据算法对任务目标函数的梯度需求分类，主要有基于梯度的优化算法和无梯度优化算法两类。现有的分布式算法主要利用函数的精确梯度信息进行局部变量的更新估计，严重依赖函数的显性表达式。使用固定拓扑模型描述信息的交换行为，限制了分布式算法在一般场景中的应用。具体地，在实际应用需求中，上述算法主要存在以下缺陷：

第一 在实际应用中，所有自主体使用相同的固定步长进行局部更新，灵活性差。

第二 在实际应用中，算法在没有凸性条件假设的前提下无法实现黑盒函数形式优化任务的快速收敛。

第三 在实际应用中，算法仅适用固定拓扑通信模型，无法扩展到具有时变通信任务需求的场景。

表1五种优化算法的特征

发明内容

为解决现有对抗样本生成技术存在的局限性和精度缺陷，本发明提出一种基于变采样容量的分布式零阶梯度追踪优化算法(VS-ZOGT)，旨在同时兼顾迭代速度与精度完成对任务目标的决策方案。

本发明的技术方案：

一种基于零阶梯度技术的分布式梯度追踪非凸优化方法，具体步骤如下：

步骤1：建立网络化分布式多主体优化模型，具体为寻找函数f(x)的最小化解，所述优化模型用下式表示：