[发明专利]一种针对分布式边缘学习中的模型聚合的分组优化方法

权利要求书

1.一种针对分布式边缘学习中的模型聚合的分组优化方法，其特征在于，包括以下步骤：

S1、根据各设备在相同的初始全局模型上使用其各自的本地数据集进行多轮训练得到的更新后的梯度与初始全局模型梯度的差异，来表示各设备的本地模型与初始全局模型的差异，从而根据设备的本地模型与初始全局模型的差异来量化各设备的本地数据分布与全局数据分布的差异；

S2、根据连接各个设备的网络拓扑信息获取各设备间点对点传输的连接关系和设备链路间的带宽资源，同时结合设备间点对点传输的模型大小,计算设备间点对点传输的最小传输时延；

S3、基于设备间点对点传输的最小传输时延以及各设备的本地数据分布与全局数据分布的差异，采用启发式的遗传算法编码网络中设备可能的分组方式，并通过遗传操作来自动的搜寻最优的分组结果，分组结果包括分组数和每组包括的成员设备，从而确定设备分组后模型分组聚合的方式；

S4、根据步骤S3中所确定的模型分组聚合的方式将网络中的设备划分为不同的组，并且设备按照获取的分组方式进行分组训练及分组模型聚合。

2.根据权利要求1所述的一种针对分布式边缘学习中的模型聚合的分组优化方法，其特征在于，每个设备都拥有多个数据样本，多个数据样本构成各个设备的本地数据集；并且每个设备在其本地数据集上进行基于梯度下降的模型训练，即可获取基于本地数据集训练得到的本地模型；

对于各个设备来说，设备间的数据分布往往是非独立同分布的，即各设备间本地数据分布不一致且不同于全局数据分布；

步骤S1中，为表示各设备分布与全局分布的差异，根据各设备在相同的初始全局模型上使用其各自的本地数据集进行多轮训练得到的更新后的梯度与初始全局模型梯度的差异量化设备的本地数据分布和全局数据分布间的差异，具体包括以下步骤：

S1.1、随机初始化一个全局模型并将该全局模型作为各设备统一的初始模型；所述全局模型为由本领域技术人员指定的机器学习模型，包括Linear Regression(LR)、Multilayer Perceptrons(MLP)或Convolutional Neural Networks(CNN)；

S1.2、在去中心化的分布式机器学习的框架下对各个设备进行多轮的本地更新和全局聚合，即各设备使用其完整的本地数据集在初始模型上进行一轮本地模型训练并获取其相应的本地模型后，所有设备按照其数据量对获取的本地模型进行加权平均得到一个全局聚合模型；

S1.3、将该全局聚合模型下发给各设备并作为各设备在下一轮本地模型训练的初始模型，返回步骤S1.2；

S1.4、步骤S1.2～步骤S1.3的本地模型训练和全局模型聚合的步骤在循环执行多轮后，使用当前获取的全局聚合模型作为度量本地模型与全局模型差异时的初始全局模型；

S1.5、在获取初始全局模型之后，各设备使用各自完整的本地数据集在初始全局模型上连续的执行多轮步骤S1.2中的本地模型训练，其中，对于每个本地设备来说，每一个本地模型训练轮都会遍历完所有的本地数据；并且在执行连续多轮的本地模型训练的过程中，各设备不会进行全局模型聚合的操作，即各设备使用其各自设备上的本地数据集对初始全局模型进行一轮本地模型训练，得到本地模型后，再循环多次对获取的本地模型进行一轮本地模型训练，循环多次得到本地模型，即可获取各设备在其本地数据集上进行本地模型训练得到的本地模型；

S1.6、通过模型梯度间的距离度量步骤S1.2～步骤S1.5中获取的初始全局模型的梯度和各设备的本地模型的梯度间的差异，模型梯度间距离的度量指标包括余弦距离、欧氏距离或曼哈顿距离；使用各设备的本地模型梯度与初始全局模型间梯度的差异表示各设备的本地数据分布和全局数据分布间的差异。

3.根据权利要求1所述的一种针对分布式边缘学习中的模型聚合的分组优化方法，其特征在于，步骤S2中，所述网络拓扑信息包括参与训练的设备、直连设备的链路以及各设备直连的链路的带宽资源，以参与训练的设备作为节点、以链路作为边以及以链路的带宽资源作为边的权值的形式将网络拓扑以有权无向图的数据结构进行存储。