[发明专利]一种基于聚合规则的动态约束自适应方法

说明书

在分布式高维Byzantine环境下，提出了一种动态约束的自适应优化方法结合聚合规则Saddle(·)的算法，能最大弹性限度地抵御蓄意攻击问题并有效求解优化问题。基于梯度更新规则，首先提出了一种新的Byzantine攻击方式——鞍点攻击。并分析了当目标函数陷入鞍点时，相比较于自适应和非自适应方法，所提出的动态约束自适应方法能够更快逃离鞍点。其次，构造了一种过滤Byzantine个体的聚合规则Saddle(·)，在分布式高维Byzantine环境下，采用动态约束的自适应优化方法结合聚合规则Saddle(·)能够有效抵御鞍点攻击。最后实验验证比较并分析了动态约束自适应与自适应和非自适应方法的优劣性。结果表明，结合聚合规则Saddle(·)的动态约束自适应在分布式高维Byzantine环境下受鞍点攻击的影响较小。

技术领域

本发明涉及一种基于聚合规则的动态约束自适应方法，属于机器学习领域。

背景技术

随着传感器和智能设备技术的快速发展以及在实际中的广泛运用，使得协同收集来自多个信息源的大量数据成为现实。面对具有空间分布的海量数据的处理，作为能够从中提取有价值信息的主要有效工具，机器学习在计算机视觉，医疗保健和金融市场分析等广泛领域的应用取得了巨大成功。其中分布式随机梯度下降算法作为最常用的机器学习方法之一，它在每步迭代中只随机训练一个样本数据，大大减少了训练时间。但其容易受到Byzantine攻击的影响。由于系统故障、软件bug、数据损坏和通信延迟等原因造成的个体或机器之间共享信息错误，统称为Byzantine攻击。所以，在Byzantine环境下研究分布式机器学习如何高效处理共享信息的数据是极为重要的。

基于梯度的优化算法会因为鞍点处的梯度值为零而易陷入非最优的情形，尤其在高维情况下，包围鞍点的水平或平坦区域范围较大，这导致分布式随机梯度下降算法很难快速逃离该区域，因而长时间陷于鞍点附近。提出用自适应方法代替传统的随机梯度下降算法来有效解决陷入鞍点而无法达到最优值的困境。通过调整随机梯度噪声的方向，使得噪声能在鞍点处是等方向的，有助于朝正确的方向快速逃离鞍点。但自适应方法则面临两大问题：(1)与随机梯度下降算法相比泛化能力差(2)由于不稳定或者极端的学习率会导致算法不收敛。

为了解决在分布式高维Byzantine环境下，能最大弹性限度抵御攻击问题从而高效求解优化问题。在分布式高维Byzantine环境下，提出了一种动态约束的自适应优化方法结合聚合规则Saddle(·)能够有效避免鞍点攻击。

发明内容

本发明所要解决的技术问题是：提供一种基于聚合规则的动态约束自适应方法，旨在解决在分布式高维Byzantine环境下，能最大弹性限度抵御攻击的优化问题。

为解决以上技术问题，本发明采用如下的技术方案：

首先提出了一种新的Byzantine攻击方式——鞍点攻击，分析当目标函数陷入鞍点时，相比较于自适应和非自适应方法，所提出的动态约束自适应方法是否能够更快逃离鞍点。其次，构造一种过滤Byzantine个体的聚合规则Saddle(·)，在分布式高维Byzantine环境下，采用动态约束的自适应优化方法结合聚合规则Saddle(·)是否能够有效抵御鞍点攻击。最后，实验验证比较并分析动态约束自适应与自适应和非自适应方法的优劣性。

附图说明

图1是本发明的方法用于逃离鞍点的五种优化方法的比较。

图2是本发明的方法动态自适应方法的动态学习率的收敛图。

具体实施方式

自适应方法易受极端学习率影响。为有效克服这一困难，ADABOUND算法的思想是：通过给梯度加一个阈值区间，并且上下阈值都随时间变化最后收敛到SGD的学习率，从而实现自适应方法向SGD的平缓过渡。

构造聚合规则Saddle(·)为s＝Saddle({g_i:i∈[m]})