[发明专利]一种针对分布式边缘学习中的模型聚合的分组优化方法

说明书

本发明公开了一种针对分布式边缘学习中的模型聚合的分组优化方法。所述方法包括以下步骤：量化各设备的本地数据分布与全局数据分布的差异；计算设备间点对点传输的最小传输时延；采用启发式的遗传算法编码网络中设备可能的分组方式，并通过遗传操作来自动的搜寻最优的分组结果，确定设备分组后模型分组聚合的方式；将网络中的设备划分为不同的组，并且设备按照获取的分组方式进行分组训练及分组模型聚合。本发明能够在不提前指定分组数的前提下根据网络中节点的数据分布和节点间的传输时延自动的对网络中的设备进行分组，有效的减缓了在分布式边缘学习中设备间数据分布非独立同分布对全局模型收敛性能的影响，提高全局模型的训练精度和收敛速度。

技术领域

本发明涉及分布式边缘学习中模型性能优化技术领域，特别涉及一种针对分布式边缘学习中的模型聚合的分组优化方法。

背景技术

随着移动计算和物联网设备的激增，大量的设备连接到互联网上并在网络边缘产生了大量的数据。然而，出于隐私和带宽限制将数据从边缘传输至中央训练机器学习模型是不切实际的。因此，将数据驱动的人工智能推向网络边缘从而释放边缘大数据的潜力已是大势所趋。为了满足这一需求，边缘智能作为一种新兴的范式，将人工智能从网络中心推向更接近物联网设备和数据源的网络边缘，已被广泛认为是一种很有前途的解决方案。从本质上说，与传统的基于云的计算范式相比，计算源和信息生成源之间的物理接近性有了一些好处，包括减少延迟、保护隐私、降低带宽消耗等。

然而，由于单台边缘设备的计算能力和数据存储能力无法满足利用庞大数据训练大型机器学习模型的要求，在边缘环境中使用并行度高的分布式计算机集群来协作学习已变得十分流行。目前大多数分布式机器学习框架为集中式的结构，其中边缘设备使用本地数据分别训练自己的模型，而位于云上的集中式主机迭代地协调边缘设备模型参数的聚合和更新，如联邦学习，但与云中现有的分布式机器学习相比，边缘环境中集中式的分布式机器学习面临着一些挑战。①设备数据非独立同分布。边缘计算中的数据源是从边缘和/或终端设备实时生成的。每个设备上的数据样本通常是非独立同分布(NoN-IID)的数据，而云中现有的分布式机器学习将数据源预先存储在云中。数据源被分配给大量计算节点进行数据并行处理，使得每个节点的数据样本都是独立同分布的。理论和实验表明，这种数据的异质性会显著影响全局模型的收敛时间和准确性。②巨大的通信开销。在边缘环境下的分布式机器学习中，边缘设备到云的网络带宽是有限的，大量的边缘设备通过带宽受限和间歇性无线网络与云连接，并将他们的本地模型迭代地传输到云，直到全局模型收敛为止。这往往需要需要数百到数千轮通信才能达到所需的模型精度。如果训练时间有限，长的传播延迟将降低全局模型的性能。而且若边缘服务器传输大型模型到云，例如R-CNN或U-net，这也将带来不可估量的通信开销。而在云中现有的分布式机器学习中，学习任务是在云簇中完成的，其中服务器具有强大的能力，连接服务器的网络具有保证和稳定的网络带宽。③骨干网饱和及单点故障。在边缘环境下的分布式机器学习中，成千上万的边缘设备发送自己的本地模型到云中聚合的范式会给骨干网带来沉重负担，且由于边缘环境中设备的不稳定性导致的单点故障使得全局模型面临聚合失败的风险。