[发明专利]一种基于预测的联邦学习通信优化方法及系统

说明书

本发明涉及联邦机器学习领域，公开了一种基于预测的联邦学习通信优化方法及系统。本发明中，首先，初始化全局模型以及本发明中所需的全局变量，每个用户根据其本地数据进行本地模型训练，得到本地更新。随后，云中心分别根据每个用户的历史模型更新趋势，预测其本地更新。然后，通过计算每个用户采用其预测更新时全局模型的损失函数变化，设置其预测误差阈值，其中包括初始阈值和动态阈值设置两个步骤。最后，根据设置的预测误差阈值设计全局模型更新策略，云中心采用准确的预测更新代替本地更新计算全局模型更新。解决了联邦学习技术中，终端用户与云中心频繁传递更新参数所导致的高通信代价问题。

技术领域

本发明涉及联邦机器学习领域，更具体地，涉及一种基于预测的联邦学习通信优化方法，用于解决联邦学习技术中终端用户/设备与云中心频繁传递更新参数所导致的高通信代价问题。

背景技术

机器学习作为人工智能领域的一个重要分支，被成功且广泛的应用于模式识别、数据挖掘和计算机视觉等各个领域。由于终端设备计算资源受限，目前对于机器学习模型的训练通常采用基于云的方式，在这种方式中，终端设备所收集的数据，如图片、视频，或者个人位置信息，必须上传至云中心集中完成模型的训练。然而，上传用户真实数据会泄露其隐私，出于隐私保护的考虑，终端用户不愿共享其隐私数据。从长远来看，这严重阻碍了机器学习技术的发展和应用。

因此，为了保护终端用户的敏感数据，同时又不影响机器学习模型的训练，联邦学习应运而生。在联邦学习环境中，用户不用上传其敏感数据至云中心，而只需共享其本地更新，云中心通过与终端用户多次交互，迭代计算得到全局模型更新，既保护了用户的敏感数据，又得到了最终的可用模型。

在联邦学习环境中，终端用户与云中心需要多轮交互才能获得目标精度的全局模型。那么，对于复杂的模型训练，如深度学习模型训练，每次模型更新可能包含数百万个参数，模型更新的高维性将耗费大量的通信成本，甚至成为一个模型训练瓶颈。此外，由于终端用户/设备的异构性，每个设备网络状态的不可靠性以及互联网连接速度的不对称性，如下传速度大于上载速度，导致终端用户上传更新参数的延迟，都会使模型训练瓶颈进一步恶化。

目前，为了解决联邦学习的高通信代价问题，国内外研究学者纷纷对其进行了大量研究，并提出了许多有效的通信优化方法。根据其优化的目标，这些解决方法大致可划分为两类：一类是以减少终端用户与云中心通信轮数为目标；另一类是以减少终端用户与云中心通信量为目标。在以减少通信量为目标的方法中，通常对本地更新进行压缩、轻量化、知识蒸馏以及稀疏化等操作，使得上传的模型更加紧致，从而达到通信量减少的目的。然而，由于模型压缩通常会造成模型信息量的丢失，甚至不能保证模型收敛，因此，越来越多的研究学者开始研究以减少通信次数为目标的通信优化方法。

主流的通信次数减少方法可划分为两类，一类是基于模型收敛的方法，另一类是基于重要性的方法。在基于模型收敛的方法中，通常采用增加本地模型训练迭代轮数、减少每轮本地训练batch块的大小或者修改联邦学习算法等方式加快模型学习速度，使得每次通信迭代上传的本地模型更新更有利于全局模型的收敛；另一类则是通过研究本地更新与全局模型更新的相关性或者计算本地更新对全局模型的重要性，选择重要的或者与全局模型收敛趋势相同的本地更新上传至云中心。虽然这两类方法能够从一定程度上提高联邦学习的通信效率，但它们仍然存在以下不足：基于模型收敛的方法，通常是以消耗更多的本地计算资源为代价，然而，在联邦学习环境中，终端通常是资源受限的异构设备，它们没有足够的计算资源来处理复杂模型的训练，因此，将该算法运用于实际场景的联邦通信优化具有一定的挑战性；基于重要性的方法中，本地更新的重要性或者相关性都是通过一个可调的阈值判断，且这个阈值的设置通常是基于最大化通信次数减少为目标，因此，这类算法由于大量本地更新没有被聚集，而导致严重的模型准确率降低。