[发明专利]基于宽度学习的联邦学习策略优化方法和装置

说明书

本发明公开了一种基于宽度学习的联邦学习策略优化方法和装置，包括：(1)对边缘端的本地模型进行模型初始化，同时在服务器端部署宽度学习网络；(2)对本地模型进行预训练，采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端；(3)服务器端以n个较优特征向量作为宽度学习网络的输入数据，获得输出宽度学习网络对输出数据的预测置信度，并根据预测置信度更新宽度学习网络的参数，同时返回预测置信度至边缘端；(4)边缘端利用返回的预测置信度更新本地模型的参数；(5)迭代(2)～(4)，参数确定的本地模型作为特征提取器，参数确定的宽度学习网络作为分类器，组成联邦学习模型，以提高模型的训练速度。

技术领域

本发明属于面向联邦学习的领域，具体涉及一种基于宽度学习的联邦学习策略优化方法和装置。

背景技术

联邦学习是一种机器学习设置，其中多个边缘端在中央服务器或服务提供商的协调下协作解决机器学习问题。移动电话、可穿戴设备和自动驾驶汽车等远程设备构成的现代网络每天都会生成大量数据。联邦学习涉及到直接在这些设备上训练统计模型，并引入了新的统计和系统挑战，需要从根本上背离为数据中心环境中的分布式优化而设计的标准方法。联邦学习，它允许多方在不共享数据的情况下协同训练模型。类似于中心化并行优化，联邦学习允许边缘端执行大部分计算，中心参数服务器使用用户设备返回的下降方向更新模型参数。

每个客户的原始数据都存储在本地，不进行交换或转移；相反，权重更新是狭义的更新，以包含针对特定学习任务所需的最少信息。在数据最小化服务中，尽可能早地执行聚合。

从统计的角度来看，每个设备以一种不相同和异构的方式收集数据，并且每个设备上的数据点的数量也可能存在显著差异。因此，联邦优化方法必须以一种稳健的方式设计，以便在处理异构统计数据时证明收敛性。从系统的角度来看，网络的规模和高昂的通信成本对联邦优化方法施加了两个额外的约束:(1)代价较高的网络优化和(2)高昂的通信成本。在参与方面，在每一轮通信中，建议的方法应该只需要少量的设备是活跃的。

有研究人员基于上述的联邦平均算法，提出新的聚合方法：研究者认为在数据非独立同分布条件下，更新的模型应该与下发的模型之间更相似。研究者通过限制本地数据更新模型的次数来限制模型间的相似度，最终实现了：(1)在模型训练方面，保证可以聚合的前提下，降低了通信轮数，也因此降低了通信代价。(2)对非独立同分布进行理论分析，分析其收敛困难的原因是在一个数据集上更新次数过多。

联邦学习可以借鉴分布式学习中处理非独立同分布的数据—稀疏化方法：选择单个模型中参数更新最大的k个值(最大的k个值最能代表数据更新的方向)。最终实现两个目标：(1)模型压缩，采用重要参数对模型进行更新(2)采用少量参数可以提升数据的安全性，避免因参数数据泄露边缘端信息。

发明内容

鉴于联邦学习通信成本高、数据异质性等问题导致模型收敛速度慢，同时鉴于训练好的联邦模型的无法进行参数优化修改或需要大量时间进行微调训练，以导致训练模型的代价高的问题，本发明提供了一种基于宽度学习的联邦学习策略优化方法，以提高模型的训练速度，以提高训练系统的效能。

本发明的技术方案为：

第一方面，一种基于宽度学习的联邦学习策略优化方法，包括以下步骤：

(1)对边缘端的本地模型进行模型初始化，同时在服务器端部署宽度学习网络，其中，宽度学习网络包括特征节点组成的特征层和增强节点组成的增强层以及全连接层；

(2)采用本地数据集对本地模型进行预训练，同时采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端；

(3)服务器端以n个较优特征向量作为宽度学习网络的输入数据，获得输出宽度学习网络对输出数据的预测置信度，并根据预测置信度更新宽度学习网络的参数，同时返回预测置信度至边缘端；

(4)边缘端利用返回的预测置信度更新本地模型的参数；