[发明专利]基于横向联邦学习的数据处理系统

说明书

本发明涉及一种基于横向联邦学习的数据处理系统，实现步骤S1、初始化全局模型，设置K和相似度阈值Q；S2、选取K个客户端，发送初始全局模型进行训练，得到第一轮的全局模型和全局更新矩阵，将t设为2；S3、选取K个客户端，并发送上一轮全局模型G_global,t‑1和全局更新矩阵ΔG_global,t‑1进行第t轮训练,获取第k所选客户端的第t轮本地模型G_k,t和本地更新矩阵ΔG_k,t；S4、获取ΔG_k,t和ΔG_global,t‑1的相似度，将大于Q的确定为目标客户端；步骤S5、将目标客户端本地模型的参数顺序重新匹配；S6、获取第t轮全局模型G_global,t和全局更新矩阵ΔG_global,t；S7、判断全局模型是否收敛，若收敛，则结束，否则，令t＝t+1，返回S3。本发明减少了通信轮数、加快了模型收敛，从而降低了通信开销。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于横向联邦学习的数据处理系统。

背景技术

联邦学习是一种机器学习框架，在模型训练时，数据是只存在于各个参与方本地客户端上的，并不会像传统的集中式学习那样将所有的数据聚集到某一个地方进行模型训练。联邦学习分为横向联邦学习和纵向联邦学习，横向联邦学习也称为按样本划分的联邦学习、特征对齐的联邦学习，指的是多个参与方的数据集中的特征重叠较多而用户不同。在现有的跨设备横向联邦学习的模型训练过程中，网络通信成了困扰技术人员的一大难题，由于众多终端设备网络信号的不稳定性、终端设备网络传输能力的参差不齐，因此，如何减少通信轮数、加快模型收敛，从而降低通信开销成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于横向联邦学习的数据处理系统，减少了通信轮数、加快了模型收敛，从而降低了通信开销。

根据本发明一方面，提供了一种基于横向联邦学习的数据处理系统，包括中心服务器、N个客户端、存储有计算机程序的存储器和处理器，所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、初始化全局模型G_global,0，设置每轮选取参与训练的客户端数量K，K小于N，设置相似度阈值Q；

步骤S2、选取K个客户端，向每一所选客户端发送初始全局模型G_global,0进行第一轮训练，得到第一轮的全局模型G_global,1和全局更新矩阵ΔG_global,1，将训练轮次t设置为2，执行步骤S3；

步骤S3、选取K个客户端，向每一所选客户端发送上一轮全局模型G_global,t-1和上一轮全局更新矩阵ΔG_global,t-1进行第t轮训练,获取第k所选客户端基于G_global,t-1和ΔG_global,t-1训练得到的第t轮本地模型G_k,t和本地更新矩阵ΔG_k,t；

步骤S4、获取ΔG_k,t和ΔG_global,t-1的相似度，将相似度大于Q的客户端确定为第t轮目标客户端，第t轮目标客户端的数量为kt,kt小于等于K，则第t轮对应的目标客户端本地模型分别为

步骤S5、将的参数顺序重新匹配，得到第t轮参数顺序调整后的所有目标客户端本地模型G'_1,t,G'_2,t,G'_3,t,......G'_kt,t；

步骤S6、基于G'_1,t,G'_2,t,G'_3,t,......G'_kt,t获取第t轮全局模型G_global,t和第t轮全局更新矩阵ΔG_global,t；