[发明专利]一种基于模型参数差异化丢弃的通信高效联邦学习方法

说明书

本发明公开了一种基于模型参数差异化丢弃的通信高效联邦学习方法，该方法包括：确定本地模型的结构并进行初始化；通过本地数据集对初始化后的本地模型进行训练；获取服务器下发的参数丢弃率计算允许上传的参数量并上传至服务器；通过上传的参数量对训练后的本地模型进行聚合操作得到全局模型；若所述全局模型不满足收敛条件，则服务器根据用户的环境因素下发最优参数丢弃率对初始化后的本地模型进行更新；直至满足收敛条件，输出最优全局模型。本发明能够充分利用用户的计算资源和通信资源，加快全局模型收敛的同时提高全局模型的泛化性能。本发明作为一种基于模型参数差异化丢弃的通信高效联邦学习方法，可广泛应用于计算机人工智能技术领域。

技术领域

本发明涉及计算机人工智能技术领域，尤其涉及一种基于模型参数差异化丢弃的通信高效联邦学习方法。

背景技术

随着物联网设备的广泛使用和边缘计算的兴起，大量数据在终端设备或边缘设备上产生，传统的集中式机器学习方法要求每个用户将本地数据上传到云端服务器参与模型的训练，然而，集中式方法难以满足数据隐私和安全的要求，为了避免将大量私有数据上传到云端服务器进行集中式人工智能模型训练，研究人员提出了移动边缘计算，将人工智能模型训练从云端迁移到边缘端或终端，与此同时，终端设备和边缘设备的硬件性能的不断提升使得在移动设备上训练人工智能模型成为可能，但由于用户拥有的数据量有限，不足以训练出一个高性能的模型。从而达到保护数据隐私和协同训练模型的目的，近年来一种分布式机器学习方案——联邦学习逐步兴起，它让用户通过仅共享本地模型更新而不是原始数据来训练分布式网络中的机器学习模型，尽管联邦学习在数据隐私方面带来了好处，但它是以牺牲训练效率为代价的，因为联邦学习需要在服务器和用户之间频繁交换模型参数，此外，由于用户和服务器之间的地理分布和通信条件的存在差异，即使在传输相同大小的模型时，通信时间也会有很大差异，在经典的联邦学习中，所有用户都需要同步并等待最慢的用户完成参数上传才能开始新一轮的训练，这进一步降低了通信效率，这种现象被称为掉队者效应；

为了提高通信效率，现有的技术主要采取用户选择机制，即仅选择一部分用户参与全局模型的更新。基于用户选择的联邦学习方法根据不同的规则减少参与全局训练的用户的数量，其中包括随机选择、选择训练时间短的用户、或者根据自定义效用指标选择用户等，虽然基于用户选择的联邦学习方法可以有效提高通信效率并减轻掉队者效应，但它不可避免地浪费了一部分昂贵的计算资源，此外，部分用户长时间闲置，参与全局更新的机会较少，使得最终训练出来的模型不能很好地适应这部分用户的数据分布情况；本质上，基于用户选择的联邦学习方法减少了全局模型可以间接接触的数据量，这不利于全局模型的收敛，更重要的是，用户选择会进一步加剧数据的异构性，甚至可能导致某些数据标签的缺失，从而削弱全局模型的泛化能力。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于模型参数差异化丢弃的通信高效联邦学习方法，能够充分利用用户的计算资源和通信资源，加快全局模型收敛的同时提高全局模型的泛化性能。

本发明所采用的第一技术方案是：一种基于模型参数差异化丢弃的通信高效联邦学习方法，包括以下步骤：

S1、确定本地模型的结构并对本地模型的参数进行初始化，所述本地模型的结构为神经网络模型，所述本地模型的参数为神经网络模型网络中连接的权重值和偏差值；

S2、通过本地数据集对初始化后的本地模型进行训练，所述本地数据集表示用户保存在本地设备的数据，且该数据具有隐私性，不能直接传输至其他用户和中心服务器；

S3、获取服务器下发的参数丢弃率并根据参数丢弃率计算允许上传的参数量；

S4、将允许上传的参数量上传至服务器；

S5、通过上传的参数量对训练后的本地模型进行聚合操作，输出全局模型；

S6、对全局模型进行判断；