[发明专利]一种联邦学习系统及联邦学习任务处理方法

说明书

本发明公开了一种联邦学习系统及联邦学习任务处理方法，联邦学习系统包括：数据处理模块，用于收集和统计数据源以及数据量，并设定数据集参数，形成数据集生成模块；客户端，用于基于数据集生成模块计算节点间的交叉相似性以及训练过程中不同模型间的相似性，形成模型权重与节点数据特征；中心服务器端，用于接收客户端发送来的模型的权重与节点数据特征，并根据联邦平均算法从客户端发送的网络模型中生成全局模型，将全局模型下发至各个客户端。

技术领域

本发明涉及联邦学习技术领域，具体涉及一种联邦学习系统及联邦学习任务处理方法。

背景技术

联邦机器学习(Federatedmachine learning/FederatedLearning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现AI协作。

但是，在一些场景下，由于不同客户端用户的习惯偏好不同，客户端上是数据存在异构性，而传统的联邦学习框架仅关注服务端的全局模型对客户端训练造成的影响，因此在实际应用中任存在极大的缺陷。

发明内容

本发明提供一种联邦学习系统及联邦学习任务处理方法，以解决现有技术中存在的上述问题。

本发明提供一种联邦学习系统，包括：

数据处理模块，用于收集和统计数据源以及数据量，并设定数据集参数，形成数据集生成模块；

客户端，用于基于数据集生成模块计算节点间的交叉相似性以及训练过程中不同模型间的相似性，形成模型权重与节点数据特征；

中心服务器端，用于接收客户端发送来的模型的权重与节点数据特征，并根据联邦平均算法从客户端发送的网络模型中生成全局模型，将全局模型下发至各个客户端。

优选的，所述中心服务器端包括：

模型权重与节点数据特征接收模块，用于中心服务器端在每一轮的训练中接收参与训练的客户端发送的数据特征；中心服务器端接收到某个客户端发来的网络模型和数据特征后，关闭对该客户端的监听，在收到发来网络模型和数据特征的客户端数量达到参与训练的客户端总数之后，中心服务端结束等待接收的监听状态，开始全局模型的生成和准备开始下一轮的训练；

全局模型生成模块，用于将数据量的权重增加至全局模型的聚合过程中，在更新全局模型时，根据各客户端节点拥有的数据量进行加权平均，在每一轮生成全局模型后，中心服务器端在测试集上评估全局模型的准确率、召回率和精确率，并在新一轮的训练中将生成的全局模型发送至客户端节点；

协调控制模块，用于协调各客户端的运行；以及用于控制中心服务器停止训练，控制网络模型和数据特征在中心服务器端和客户端之间的传输。

优选的，所述协调控制模块包括：

模型聚合子模块，用于当客户端节点接收到中心服务器端发送来的全局模型和节点数据特征时，才开始训练，否则，客户端节点将处于待机等待状态；当每一轮的训练结束时，中心服务器端若接收到所有参与该轮训练的客户端节点发送案例的网络模型和数据特征时，开始模型聚合；

发送子模块，用于当模型聚合结束后，中心服务器端开始新一轮的训练，将新的全局模型和数据特征发送给各个客户端阶段。

优选的，所述客户端包括：

客户端训练子模块，用于构建底层神经网络训练模块，接收中心服务器端发送的全局模型和其他节点的数据特征，结合本地模型利用交叉注意力机制进行客户端个性化训练；

上传子模块，用于将新一轮的数据特征和新生成的本地网络模型上传至中心服务器端；