[发明专利]共识表征提取和多样性传播的解纠缠个性化联邦学习方法

说明书

本发明实施例涉及一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，通过当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；当前节点获得所述当前节点对应的全局共识表征聚合模型；即本发明的实施例，通过聚合节点的局部共识表征模型获得的全局共识表征模型，具备良好的泛化能力，并且基于特有表征相似加权的个性化聚合方案减弱了节点属性差异巨大带来的性能负向迁移。

技术领域

本发明涉及计算机领域，尤其涉及一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法。

背景技术

联邦学习是一种新型的分布式机器学习方式。在联邦学习中，聚合节点利用联邦平均(FedAvg)算法来聚合来自各个节点的模型更新，参与联邦训练的各节点在训练结束后得到的是一个统一的全局模型，但这样训练出的全局模型很难适配每一个节点，因此提出了个性化联邦学习。

目前的个性化联邦学习通常有权重聚合方法、元学习方案、域适应方案、个性化预测层等，但是这些方案更多关注的是数据标签分布差异的非独立同分布，而并没有充分关心到每个节点由于位置环境、采集设备的差异等所带来的节点间数据属性存在巨大差异，而这会导致训练出的模型泛化性能差、可解释性差。

发明内容

本发明提供了一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，以解决由于节点间属性差异巨大而造成的训练出的模型泛化性能差、可解释性差的技术问题。

第一方面，本发明提供了一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，应用于个性化联邦学习系统，所述个性化联邦学习系统包括多个节点；所述方法包括如下步骤：步骤S1、当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；步骤S2、当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；步骤S3、当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。

作为可选的实施例，所述步骤S2中的聚合权重通过如下公式获得：