[发明专利]基于多服务器的联邦学习系统

说明书

本发明涉及一种基于多服务器的联邦学习系统，实现步骤S1、构建环形哈希空间；S2、在环形哈希空间为第s服务器划分对应的全局模型参数范围；S3、向每一客户端广播每一服务器对应的全局模型参数范围，控制每一服务器初始化对应的全局模型参数；S4、在第t轮训练中，第k参与客户端从每一服务器获取对应的全局模型参数；S5、每一客户端进行本地训练，根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和本地数据量；S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和本地数据量更新对应的本轮全局模型参数；S7、判断模型是否收敛，若收敛，则结束，否则，令t＝t+1,返回S4。本发明提高了联邦学习模型训练的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多服务器的联邦学习系统。

背景技术

联邦学习是一种分布式的机器学习算法，并且在一般分布式机器学习的基础上考虑了隐私保护的相关问题。联邦学习可以分为跨设备的联邦学习和跨数据中心的联邦学习。当数据分散于个人用户中时，可以利用跨设备的联邦学习，聚合用户设备中的数据，更高效地训练机器学习模型。而几个不同的参与方想用结合各方数据更好地训练模型，同时又希望不公开各方数据时，则可以使用跨数据中心的联邦学习。这两种联邦学习的区别主要表现为，网络连接的强弱不同、客户端的性能不同。本申请主要针对跨设备的联邦学习进行改进，现有的跨设备的联邦学习算法通常只有一个中心服务器节点用于参数更新和聚合，但当客户端较多时，中心服务器则会出现处理性能弱、存储性能低和网络带宽需求大的情况，从而延长了训练轮次间的等待时间，模型训练效率低。

发明内容

本发明目的在于，提供一种基于多服务器的联邦学习系统，提高联邦学习模型训练的效率。

根据本发明第一方面，提供了一种基于多服务器的联邦学习系统，包括S个服务器、K个客户端、全局模型参数key-value映射表，处理器和存储有计算及程序的存储器，其中，S和K均为大于等于2的整数，所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内，再将哈希空间第0位定义为第M位的下一位，构建环形哈希空间；

步骤S2、根据第s服务器对应的预设全局模型参数范围数量n_s，在所述环形哈希空间中设置n_s个第s插入点，将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围，s＝1,2…S；

步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围，并控制每一服务器初始化对应的全局模型参数，将t初始化为1；

步骤S4、在第t轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数，k＝1,2,…M；

步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练，根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量；

步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数；

步骤S7、判断模型是否收敛，若收敛，则结束模型训练，否则，令t＝t+1,返回执行步骤S4。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于多服务器的联邦学习系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：