[发明专利]更新中心方的合作式学习方法、存储介质、终端和系统

说明书

本发明提供了一种动态更新中心方的合作式学习方法、存储介质、终端和系统，系统包括数据提供方确定模块，性能评估模块，优选模块，根据评估性能自主选择网路中最优数据提供方作为中心服务器并运行中心程序；通信传输模块；动态更新学习模块，通过初始状态判断进入合作式学习任务还是中心服务器更新，若是，开始合作式学习任务并预测中心服务器风险；若否，则进入中心服务器更新，判断合作式学习任务继续、恢复或中止，直至任务结束。相比现有技术，本方案提供了中心服务器宕机情况下快速选取参与训练任务中最优数据提供方为中心服务器的方法，能快速衔接，以便合作式学习可以继续运行。

技术领域

本发明涉及多方数据联合处理，具体涉及一种动态更新中心方的合作式学习方法、存储介质、终端和系统。

背景技术

在传统的集中式深度学习中，中心服务器需要收集大量的用户数据用于训练神经网络模型(简称模型)，但是由于数据传输的网络通信开销较大、用户数据归属权以及用户数据隐私性等问题，用于进行深度学习的用户数据往往难以获取。

现有技术中也出现了一些解决上述问题的解决方式，如联邦学习，联邦学习是一种新兴的机器学习框架，其采取了另一种训练机器学习模型的方式：在一轮训练中，每一个用户利用其私有数据训练本地模型，然后将本地模型的参数上传至中心服务器，由中心服务器将所有用户的参数进行融合生成全局模型的参数，再将全局模型的参数下发至用户，用户根据全局模型参数对本地模型进行更新，如此循环若干轮训练直至全局模型收敛，训练结束。

综上，联邦(机器)学习作为一种新兴的分布式机器学习范式，在该范式下，各个计算实体(移动/边缘设备、跨地域的机构)在中心服务器(例如，服务提供商)的协调下共同训练一个机器学习模型。由于数据始终驻留在计算实体本地，联邦学习降低了传统集中式机器学习的隐私风险和数据转移成本。作为一种新型的人工智能基础技术，联邦学习近几年已经得到学术界和工业界的广泛关注，成为机器学习发展和应用的新趋势。

基于这种技术，联邦学习能够在用户的私有训练数据不离开本地的前提下实现多个用户共同进行机器学习模型训练，完成指定的学习任务，如：图像分类、文本预测等，解决了传统的集中式机器学习中用户数据难以获取的问题。

但是，在联邦学习中也存在着一些安全隐患。一旦中心服务器宕机，则需要重头再来，进行各方训练，再集合数据至新的中心服务器，这样，成本高，时间长。具体的，联邦学习中一次模型训练通常包含多个迭代轮次，每一个迭代轮次包含模型分发、模型计算、模型聚合和模型更新四个步骤(当计算实体数量大时可能包含实体选择步骤)。模型分发指中心服务器将最新模型分发给各个参与节点；模型计算指参与节点依据最新模型和本地数据计算后获得模型更新量或梯度；模型聚合指参与节点将计算后的模型更新量或梯度汇聚到中心服务器；模型更新指中心服务器依据聚合后的模型更新量或梯度更新全局模型。模型训练过程不断重复以上四个步骤，直至全局模型收敛(即该模型在标准测试集的精度达到理想值)。在已有联邦学习框架(例如TensorFlow Federated、FATE)中，上述步骤中的模型分发与模型聚合普遍采用Hub-and-spoke模式，在该模式下，中心服务器作为唯一的模型分发者和聚合者，与参与节点间周期性的产生大量的模型通信。在实际的部署环境中，中心服务器和各个参与节点通常是跨地域分布的，它们之间的网络是跨域公共网络的一部分，具有带宽受限、异构动态等特点。因而，频繁且大量的模型通信产生的通信开销是联邦学习训练效率的主要瓶颈。

由此可见，一般是从通信高效的算法层面研究压缩方法来降低模型通信的数据量，但是这些方法可能会导致模型质量降低。而对于中心服务，宕机情况下难于快速选取参与合作式学习任务中的最优数据提供方，不能快速衔接，导致合作式学习的模型聚合无法继续运行，这是目前急需解决的问题。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种动态更新中心方的合作式学习方法、可读存储介质、终端和系统，其能解决上述问题。

一种动态更新中心方的合作式学习方法，方法包括以下步骤：