[发明专利]一种面向边缘智能的高效层次化参数传输时延优化方法

说明书

一种面向边缘智能的高效层次化参数传输时延优化方法，中央服务器将数据处理模型训练参数发送至多个边缘服务器；每个客户端设备利用训练参数训练其数据处理模型，初始训练时，从其对应的边缘服务器下载训练参数；非初始训练时，根据超时机制选择利用其之前的训练参数或从其对应的边缘服务器下载训练参数；各客户端设备将更新后的参数发送到对应边缘服务器；边缘服务器对客户端设备更新的参数进行局部聚合，再发送到中央服务器，中央服务器对收集到的参数进行全局聚合，获得全局的参数发送回边缘服务器，边缘设备再下载这些参数进行本地更新。本发明客户端设备向边缘服务器发送参数时，超时机制将会更早实现参数汇聚，提高了训练的效率。

技术领域

本发明属于计算机技术领域，涉及在客户端设备、边缘服务器、中央服务器三层结构中对参数传输延时的优化方法。

背景技术

目前，在联邦学习环境中进行模型训练存在很多挑战，由于联邦学习具有异构性，在异构联邦学习中，当联邦学习将同一神经网络模型部署到异构边缘设备时，计算能力较弱的设备(孤立设备)可能会大大延迟全局模型的聚合。虽然可以对训练模型进行优化以加快训练速度，但由于异构设备资源有限，优化后的模型往往会导致结构分化，很难收敛。

鉴于上述异构性，联邦学习将面临几个方面的问题。首先，在进行边缘训练时，通信效率是必需的，因为客户端设备通常通过慢速连接(1Mbps)连接到中央聚合器。其次，客户必须是无状态的，因为通常情况下，所有的训练过程没有客户端设备参加一次以上。第三，跨客户收集的数据通常不是独立的和相同分布的。例如，当在智能手机用户的打字数据上训练下一词预测模型时，位于不同地理区域的客户从不同的分布生成数据，但分布之间存在足够的共性，我们仍然希望训练单一的模型；不同客户端设备可能存在的异构通信条件和计算能力也可能影响全局模型聚合；还存在对用户隐私的保护等。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向边缘智能的高效层次化参数传输时延优化方法，以期节约客户端设备等待边缘服务器聚合的时间。

为了实现上述目的，本发明采用的技术方案是：

一种面向边缘智能的高效层次化参数传输时延优化方法，包括如下步骤：

步骤1，中央服务器将数据处理模型训练参数发送至多个边缘服务器；

步骤2，每个客户端设备利用训练参数训练其数据处理模型，其中，在初始训练时，从其对应的边缘服务器下载训练参数；在非初始训练时，根据超时机制选择利用其之前的训练参数或从其对应的边缘服务器下载训练参数；

步骤3，各客户端设备将更新后的参数发送到其对应的边缘服务器；

步骤4，边缘服务器对客户端设备更新的参数进行局部聚合，再将局部聚合的参数发送到中央服务器，中央服务器对收集到的参数进行全局聚合。

在一个实施例中，所述步骤1，数据处理模型为神经网络，训练参数包括权重，梯度以及训练周期。

在一个实施例中，所述步骤2，客户端设备和边缘服务器上均设置超时机制，所述超时机制是指：当边缘服务器没有接收到其所管控的全部客户端设备的训练参数以致无法进行聚合时，客户端设备使用其之前的训练参数进行新一轮次的训练。

在一个实施例中，所述步骤3，边缘服务器所管控的全部客户端设备均完成一次训练参数更新，即完成了一轮迭代，每轮迭代后，边缘服务器所管控的全部客户端设备将更新得到的训练参数发送至对应的边缘服务器。

在一个实施例中，所述步骤4，边缘服务器记录其所管控的每一个客户端设备的迭代次数，待收到所有客户端设备同一迭代轮次得到的训练参数，将该迭代轮次的所有训练参数进行平均化，得到该边缘服务器在该迭代轮次的局部聚合训练参数。