[发明专利]一种去中心化的联邦学习方法、装置及系统

说明书

本发明公开了一种去中心化的联邦学习方法、装置及系统，属于联邦学习领域，方法包括：在参与联邦学习的多个客户端之间建立全局通信网络，使得任意两个客户端之间存在通信路径；各客户端分别接收与其直接通信的其他客户端上一时刻的模型参数，并分别计算其得到的各上一时刻的模型参数与相应权重系数之间乘积的和，以及计算其上一时刻的局部模型的损失函数梯度与预设自适应学习率之间的第一乘积，将其当前时刻的模型参数更新为和与第一乘积之间的差值；重复执行上述迭代更新操作，直至各客户端的局部模型的损失函数不高于相应的阈值，或者直至重复执行的次数达到最大迭代次数。在保护各客户端隐私和数据安全的同时，全局训练各局部模型。

技术领域

本发明属于联邦学习领域，更具体地，涉及一种去中心化的联邦学习方法、装置及系统。

背景技术

联邦学习旨在建立一个基于分布数据集的联邦学习模型，以应对数据孤岛问题。随着人工智能在各行业的应用落地，人们对于隐私和数据安全的关注度不断提高。如何在遵守更加严格的、新的隐私保护条例下，解决数据碎片化和数据隔离问题，是当前人工智能研究和实践中面临的首要挑战。人们对于数据失去掌控，以及对于增益分配效果不透明，加剧了所谓数据碎片化和孤岛分布的严重性。为了确保用户隐私和数据安全，各客户端交换模型信息的过程将会被精心的设计，使得没有客户端能够猜测到其他任何客户端的隐私数据内容。

对于设置有中央服务器的联邦学习系统，虽然可以在大型中央服务器上收集、存储和分析数据，但是导致了较高的基础设施成本。中央服务器代表单一的入口点，它必须足够安全以抵抗可能使整个用户数据库处于危险之中的攻击；客户端对局部数据控制有限，存在隐私泄漏的风险。此外，所有客户端被困在“单一思维”模型中，淡化了个别用户的特性，或者导致对某些用户不公平的预测。各客户端获得的数据通常是不平衡、不独立、不均匀的，且分布在不同的机器上，每个客户端的特殊性导致整体模型的复杂性和规模增加，需要在用户之间交换信息以弥补本地数据的缺乏，在这种情况下，通信是一个主要的瓶颈。因此，如何考虑一类避免在用户模型之间达成协议、或者需要一个中央协调器的联邦学习方法，对数据的安全性、模型的可靠性、改善所有客户端之间通信压力具有关键意义。

现有的去中心化联邦学习方法，在客户端之间数据非独立同分布、全局共享模型训练、缓解通信压力三方面的统一分析较为匮乏，而且也并未切实考虑到用户之间存在的攻击行为，这种相互不信任的情况会导致攻击者通过网络对其他人的设备进行攻击，最终导致各参与者数据泄漏。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种去中心化的联邦学习方法、装置及系统，其目的在于在保护各客户端隐私和数据安全的同时，实现各局部模型的全局训练。

为实现上述目的，按照本发明的一个方面，提供了一种去中心化的联邦学习方法，包括：S1，在参与联邦学习的多个客户端之间建立全局通信网络，使得任意两个所述客户端之间存在通信路径，每一所述客户端中设置有相应的局部模型；S2，各所述客户端分别接收与其直接通信的其他客户端在上一时刻的局部模型的模型参数；S3，各所述客户端分别计算其得到的各上一时刻的模型参数与相应权重系数之间乘积的和，以及计算其上一时刻的局部模型的损失函数梯度与预设自适应学习率之间的第一乘积，并将其当前时刻局部模型的模型参数更新为所述和与所述第一乘积之间的差值；S4，重复执行所述S2-S3，直至各所述客户端的局部模型的损失函数不高于相应的阈值，或者直至重复执行的次数达到最大迭代次数，各所述客户端利用最后一次更新得到的局部模型处理其接收到的待处理数据。

更进一步地，所述S1和S2之间还包括：为每两个所述客户端之间的通信路径设置相应的权重系数，所述权重系数满足：客户端k和客户端j直接通信时，客户端k和客户端j之间的权重系数W_kj＞0；客户端k和客户端j间接通信时，W_kj＝0；客户端k的权重系数W_kk＞0；K为参与联邦学习的客户端的数量，客户端k和客户端j为任意两个所述客户端。

更进一步地，各所述权重系数形成对称的权重矩阵W，所述权重矩阵W满足：