[发明专利]一种基于Barzilai-Borwein步长的多步通信分布式优化方法

说明书

本发明涉及一种基于BB步长的多步通信分布式优化方法，属于大规模机器学习及信息处理技术领域。该方法包括：1)确定问题目标函数及其强凸系数和光滑系数；2)搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；3)将系统所有变量进行初始化；4)利用节点当前所储存的变量信息计算BB步长；5)系统根据相关参数计算内循环次数P；6)节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。本发明能够在有向强连通非平衡通信网络下解决无约束优化问题；提高所提算法收敛速率和梯度估计精确性。

技术领域

本发明属于大规模机器学习及信息处理技术领域，涉及一种基于BB步长的多步通信分布式优化方法。

背景技术

随着互联网、计算机、人工智能的发展，造成了数据的泛滥，如何有效处理数据正成为各行业亟待解决的难题。当前，存在两种有效的数据处理方法：集中式优化算法和分布式优化算法。集中式优化算法主要是凭借中心处理器的计算能力对数据进行分析和处理。当数据简单且网络规模不大时，集中式优化算法可以高效地对数据进行处理。然而，由于中心处理器受物理硬件发展受限约束，其计算能力极为有限。因此，集中式优化算法对于大规模网络数据处理无能为力。同时，由于集中式算法对于信息的收集、分析以及处理都是由中心处理器完成，因此其也存在单点失效与鲁棒性差的问题。分布式优化算法是将一个复杂的任务分解成多个易处理的子任务，再采用分布式计算方式对所有子任务进行有效处理。由于分布式优化在资源分配、智能电网、控制系统等领域中展现出巨大的应用价值，分布式优化的研究受到人们越来越多的重视。在分布式优化算法中，网络中的节点解决分布式优化问题，仅仅只需通过与邻居节点进行通信，且不会泄露节点自身的信息。分布式优化算法通常由两个部分组成：通信和计算。具体描述就是，在每一次迭代(或每多次迭代)中，节点进行变量更新需要通过与邻居节点交换信息(通信)，而计算步骤主要是与(次)梯度相关(计算)。当前，判断分布式优化算法优势的标准仅仅只是通过迭代次数，忽略了与迭代计算相关联的复杂度。而且，不同的应用问题对通信成本和计算成本的要求比例是不同的。例如：在大规模机器学习领域中，计算成本比例要比通信成本比例更高，而在电源驱动机器人应用中，通信成本比例比计算成本更高。因此，对一个算法的评价应该从迭代次数、通信成本、计算成本以及总成本三个方面考虑。当前热门的分布式优化算法大致有三类：分布式梯度下降法、分布式对偶分解、分布式交替方向乘子法(ADMM)。尽管这三类算法都已经发展到了快速的线性收敛率，但是分布式梯度下降法相比于后两者不会付出太多计算成本。还需要说明的是，现有的分布式优化算法大都采用常数步长，且在理论上都要求常数步长足够小，这是一个十分保守的结果。另外，常数步长往往取决于网络拓扑参数以及范数等价转换参数。因此，在实际应用中，步长是无法计算的，需要通过不断地手动调制来使得算法达到一个好的表现，但是这样所获得的步长不一定是最优的。相反地，BB(Barzilai-Borwein)步长不占用太多的存储和计算资源，且在分布式优化算法中，BB步长是自动计算，不取决于任何网络参数。另外，分布式优化算法几乎没有采用多步通信机制的，这也导致了梯度估计误差较大。

综上所述，现有技术存在的问题是：1)现有的集中式算法不能胜任大规模网络任务处理，且存在鲁棒性差、单点失效等问题；2)现有的分布式优化算法仅仅通过迭代次数来判断算法的优势，这种评价方式过于片面；3)现有的分布式优化算法大都采用常数步长，这只能通过手动调制来确保理论推导成果；4)现有的分布式优化算法对于梯度估计误差没有给出解决办法。

解决上述技术问题的难度：如何将BB步长应用到分布式优化算法中以及如何对多步通信机制下的分布式优化算法进行理论分析，给出内循环迭代次数的一个下界。同时，还需要解决基于有向强连通非平衡有向通信网络下的分布式优化问题。通常来说，无向网络是有向网络的特殊情形，基于有向网络的分布式算法设计比基于无向网络的分布式算法设计更加困难。

发明内容