[发明专利]一种非共享数据的去中心化的分布式学习方法及系统

说明书

本发明公开了非共享数据的去中心化的分布式学习方法和系统，所述方法是一种含锚方法的集群联邦学习优化方法，包括如下步骤：系统初始化、局部计算、中心聚合、模型更新。在FedAvg算法的基础上，人为设定多个集群，以满足非独立同分布的数据分布，提高模型收敛速度；并通过含锚方法的集群联邦学习优化方法，明显提高了联邦学习技术在面对非独立同分布数据时的收敛速度与稳定性，较好地利用了客户端数据非独立同分布的特征，能极大提高模型训练时的稳定性和收敛速度，并有效地提高了模型的泛化性能。

技术领域

本发明涉及分布式学习方法及系统，尤其涉及一种非共享数据的去中心化的分布式学习方法及系统，即联邦学习方法及系统。

背景技术

在当今工业界许多数据密集型任务例如推荐系统、图像识别等，其实现依赖海量的数据。但由于行业顶尖巨头公司垄断大量数据，因隐私要求不能共享数据以联合建模，“数据孤岛”问题成为目前人工智能行业一大技术难题。在此背景下，联邦学习应运而生，其保证学习参与方不共享本地数据的同时联合建立一个全局的共享模型。联邦学习的优化问题与传统分布式学习有很大不同，首先联邦学习不同于分布式学习的中心调度节点数据，其需要保证用户数据安全不外泄。在应用层面，由于各参与方地理、时间各异，硬件、资源不同，联邦学习经常要处理非独立同分布的数据。最后，全局模型训练过程中还必须考虑到联邦学习的通信是比较慢速且不稳定的，应尽可能提高通信效率，即尽可能地减少客户端上传或下载庞大模型参数的次数。

机器学习算法特别是复杂的深度模型，其参数量十分庞大，比如常规的卷积神经网络可能包含上百万个参数，再加上服务器—客户端通信是否可靠、传输速度等问题，决定了联邦学习优化算法必须将通信成本作为重要的考虑之一。目前，主流的做法是增加客户端计算量，本地更新几步后再上传，从而减少通信次数。

其次，联邦学习的客户端设备存在异构性，各客户端计算能力，通信能力均不相同，如果让所有客户端均参与训练，那必会产生迭代落后的情况，甚至某些客户端宕机都会导致训练进行不下去。因此，目前主流的解决方法是基于固定规则或协议每轮迭代只选择部分客户端参与，在减少客户端无响应可能性的同时也可加速收敛过程。

综上所述，客户端-服务器架构的联邦学习流程包括以下四个步骤：

系统初始化。由服务器发送建模任务，寻找参与客户端。将模型初始参数向各参与方发送。

局部计算。在收到中心模型参数后，客户端利用本地数据做有限步的局部更新，并将更新后参数或梯度脱敏后上传，以便下轮全局模型更新。

中心聚合。在收到多个参与方的计算结果后，服务器做聚合操作。

模型更新。服务器根据聚合结果对全局模型做更新，并将其发送给下一轮迭代的参与客户端。当全局模型性能足够好时，停止训练。

最传统的联邦学习算法——FedAvg(联邦平均算法)是目前应用广泛的一种优化算法。其核心思想是让客户端采用随机梯度下降法做本地模型优化，中心服务器做平均聚合。目标函数定义为：

其中，M为客户端数量，ω为全局模型当前参数，为方差函数。FedAvg算法简单且易于实现，但在实际应用中，面对非独立同分布数据以及神经网络等复杂模型引入的非凸目标函数，其朴素的取平均方法也导致了模型收敛慢速、不稳定等情况出现。

总之，由于客户端设备异构、数据分布各异，模型优化时必须要考虑训练数据非独立同分布和客户端-服务器间通信效率的问题，使得联邦学习的优化问题是现阶段该领域最大的挑战之一。

发明内容

本发明为了解决现有的问题，提供一种非共享数据的去中心化的分布式学习方法和系统，提升收敛速度和稳定性。

为了解决上述问题，本发明采用的技术方案如下所述：