[发明专利]一种边-端协同梯度压缩聚合方法以及装置

说明书

本发明公开了一种边‑端协同梯度压缩聚合方法以及装置，属于机器学习领域，其中边‑端协同梯度压缩聚合方法包括：等待当次训练迭代开始；根据当前的迭代次数端设备和边缘服务选择梯度压缩聚合模式；根据所述梯度压缩矩阵进行梯度压缩与近似梯度计算；该边‑端协同梯度压缩聚合方法通过在梯度压缩、解压过程使用了基于近似梯度的边‑端协同梯度压缩矩阵计算方法，实现了梯度压缩矩阵计算与前、后向传播的并行，不仅减少了串行插入到端设备后向传播与模型更新操作之间集合通信次数，又也减少了端设备上的计算量，有效提升了面向网络边缘的分布式模型训练的速度。

技术领域

本发明涉及机器学习技术领域，特别涉及一种边-端协同梯度压缩聚合方法以及装置。

背景技术

随着移动计算、物联网、边缘计算等技术的发展，越来越多的集成感知、通信与计算能力的端设备被部署到了网络边缘，并在网络边缘产生了大量的数据。思科预计到2021年在网络边缘产生的数据将达到近850ZB(十万亿亿字节)，而同期全球数据中心的流量总和也只能达到20.6ZB。此外，由于这些网络边缘产生的数据分散存储在各种端设备中，如果将这些数据聚合到一处(如云数据中心或者性能较强的边缘服务器)做模型训练，不仅消耗大量的网络带宽，更会增加端设备的数据隐私与安全风险。

针对这一问题，人们提出直接在网络边缘做分布式模型训练。分布式模型训练是一个迭代式优化过程，每一个训练迭代一般包含前向传播、后向传播、梯度聚合、模型更新四个串行步骤。与单机集中式模型训练相比，分布式模型训练需要引入了额外的梯度聚合操作，以保证各端设备模型的最终一致性，这不可避免地增加了分布式模型训练时间。为此，人们提出通过压缩梯度，来减少数据传输量，从而加速分布式模型训练。

当引入梯度压缩机制后，每个训练迭代变成前向传播、后向传播、梯度压缩聚合、模型更新四个串行步骤。现有的梯度压缩方法一共分成六个串行执行的步骤。第一步，在每个节点上根据当前迭代的梯度值G_t(记t为当前迭代次数)和上一次迭代的压缩梯度Q_t-1计算出矩阵P_t，即P_t＝G_tQ_t-1(如果是第一次迭代，则将Q_t-1设置为随机矩阵)；第二步，所有节点做集合通信，利用集合通信函数All Reduce计算所有节点上的P_t的平均值(记为)；第三步，在每个节点上采用Gram-Schmidt过程对做正交化，获取梯度压缩矩阵第四步，在每个节点上利用梯度压缩矩阵对当前迭代的梯度值G_t进行压缩，获取压缩梯度Q_t，即P_t＝G_tQ_t-1；第五步，所有节点做集合通信，利用集合通信函数All Reduce计算所有节点上的压缩矩阵Q_t的平均值(记为)；第六步，在每个节点上根据梯度压缩矩阵和压缩矩阵均值计算平均近似梯度即

在上述的方法中，整个梯度压缩聚合过程(从第一步到第六步)是串行插入到节点的后向传播与模型更新操作之间，需要进行多次集合通信(即第二步和第五步)与矩阵计算(即第一、三、四、六步)，不可避免地增加了分布式模型训练时间。

发明内容

为了解决现有的梯度压缩聚合时间长的问题，本发明提供一种能够有效减少梯度压缩聚合时间的方法以及装置。

为了实现上述目的，本发明第一方面提供一种边-端协同梯度压缩聚合方法，包括以下步骤：

等待当次训练迭代开始；

根据当前的迭代次数端设备和边缘服务选择梯度压缩聚合模式；其中，所述梯度压缩聚合模式包括第一模式：等待向后传播结束，再在端设备中进行基于原始梯度的梯度压缩矩阵计算；第二模式：在边缘服务器中进行基于近似梯度的边-端协同梯度压缩矩阵计算，然后等待后向传播结束；

根据所述梯度压缩矩阵进行梯度压缩与近似梯度计算。