[发明专利]一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法

说明书

本发明公开了一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法，包括如下步骤：初始化变量、确定时延值和激活节点、清除过时信息、搭建网络、确定参数、更新变量；在本发明中，我们采用了一种非常通用的异步模型。在该模型中，1)所有的智能体可以在任意时刻且没有任何协调控制下与它们的近邻进行通信；2)通过使用时延信息，所有的智能体可以进行局部处理自己的子问题。因此，异步算法可以极大地减少通信链路的空闲时间，缓解网络和内存访问拥塞，节省电源，而且对实际网络系统具有更强的鲁棒性和容错性。本发明在大规模机器学习和网络信息处理中有着广泛的应用。

技术领域

本发明涉及通讯数据分布式优化技术领域，具体涉及一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法。

背景技术

早期，工业数据大都体积小、维度低，数据往往就保存在一个智能体系统中，这仅依靠集中式算法就可以有效地处理这些简易数据。但是，随着工业数据种类增多，数据往往存储在多个智能体系统中，数据也变得复杂难以处理，集中式算法已经难以适用于处理工业数据。研究者们开始致力于分布式算法的研究。当前的系统存在两种经典的体系结构：主从计算体系结构和分布式计算体系结构。我们以4个智能体为例来简要地分析两种体系结构的区别，如图1和图2所示。明显地，在主从计算体系结构中，所有的从智能体是不能解决自己的局部问题，它们只能将数据发送给主智能体，经过主智能体处理，再反馈给相应的从智能体。该体系结构过于依赖主智能体，对主智能体计算性能要求过高，一旦主智能体崩溃，整个网络系统都将瘫痪。同时，主智能体集中所有从智能体的信息，容易导致信息泄露，因而无法有效保护用户·信息安全。但是，在分布式计算体系结构中，所有的智能体地位平等，智能体仅通过与自己的近邻进行通信，就可以解决自己的局部子问题。即使该结构中的某一个智能体崩溃了，其它智能体依然可以稳定运行，因此，该结构可以避免单点失效问题，而且可以有效地保护用户隐私信息。在已发表的论文中曾将随机梯度下降法在两种体系结构中进行测试。结果表明：两种体系结构有相同的计算复杂度，但是在分散体系结构中每个智能体的最大通信代价是O(网络的度)，这小于相同情况下主从计算体系结构中的O(m)，这里的m表示网络系统中的智能体个数。经过上述分析，分布式计算体系结构相比于主从体系结构有着更为实际的应用价值。

在现有技术中，分布式优化由于其广泛的应用，例如：机器学习、控制系统、资源分配等，受到研究者的广泛关注，已经有相当数量的分布式优化算法被设计出来。当前，面向分布式计算体系结构的算法可分为两类：同步算法和异步算法。同步算法技术已经相当成熟，而异步算法可有效解决时延、采用节点随机激活规则以及基于各种异步操作方式达到线性收敛速度的成果屈指可数。如图3所示，我们用一个含3个智能体的网络简图来展示两种算法中智能体迭代更新计算方式的区别。如图4和图5所示，在上述提到的应用都需要利用大规模网络，而在大规模网络中，同步整个多智能体系统不太现实。同时，同步调度需要一个全局时钟，这与分布式优化消除主智能体的要点相悖。在实际中，异步操作方式还带来了诸如缓解通信和/或内存访问拥塞、节省资源(例如，能量、计算、带宽)和使算法更容错等好处。因此，分布式异步算法在大规模网络问题中具有优势。因此，本着实事求是的原则，研究者需要加大对分布式异步算法的研究。本专利主要采用下列的一般分布式异步模型：

任意智能体可以进行局部计算以及在任意时刻且不需要任何形式的协同调度下与近邻通信；

任意智能体可以通过使用来自近邻的时延信息来解决它的局部子问题。时延信息在一个任意、时变且有界的迭代次数中是有效的。

需要强调的是，该模型的内容涵盖多种异步问题形式：一些智能体比其它智能体进行更多的迭代次数；一些智能体比其它智能体通信频率更高；智能体之间的通信可能不可靠和/或受制于不可预测的时变的时延值。

综上所述，现有技术存在的问题是：

(1)在大规模问题和网络的实际环境下，分布式同步算法由于全局时钟的需求导致其存在数据处理能力不足、鲁棒性差、网络链路利用率低以及容错性低等缺陷。