[发明专利]一种基于分层自适应的联邦学习方法、装置、设备及介质

说明书

本发明公开了一种基于分层自适应的联邦学习方法、装置、设备及介质，所述方法包括以下步骤：将待训练模型划分为浅层模型和深层模型；对浅层模型和深层模型进行同步联邦训练，获得训练好的浅层模型和深层模型；将训练好的浅层模型和深层模型进行拼接，完成所述基于分层自适应的联邦学习。本发明的联邦学习方法，能够统筹考虑并解决上述模型性能问题、通讯成本问题和数据隐私问题，经实验验证，本发明的联邦学习方法与其他方法对比，在保证较高模型性能的同时，保持了较低的通讯量，同时提供数学严格的隐私保护。

技术领域

本发明属于数据处理技术领域，涉及联邦学习方法领域，特别涉及一种基于分层自适应的联邦学习方法、装置、设备及介质。

背景技术

随着计算机技术的发展，人工智能在越来越多的领域得到广泛应用。联邦学习技术支持多个参与者在训练数据集不出本地的前提下共同训练一个模型，技能有效利用多方数据，又能一定程度地保障数据隐私，实现互利共赢。

现有的联邦学习方法尚存在一些缺陷，具体包括：

1)各参与方的本地数据集在分布差异较大时，导致最终模型的预测性能相对于数据集中式训练的性能有所下降，即模型性能问题。

2)各参与方参与训练时，需要频繁上传和下载本地模型，导致通信量较大，通讯开销成为训练中无法忽略的成本，即通讯成本问题。

3)当某一参与方A通过信道监听等手段获得其他参与方B的本地模型或梯度时，A可以通过数学方法推断出B的本地数据集，间接导致数据隐私泄露，即数据隐私问题。

现有技术无法统筹考虑上述三点，例如：针对1)的共享部分数据策略违背了数据隐私要求，针对2)的通信数据压缩策略或者针对3)的梯度加噪/加密算法会加剧模型性能问题。

综上，亟需一种新的基于分层自适应的联邦学习方法、装置、设备及介质。

发明内容

本发明的目的在于提供一种基于分层自适应的联邦学习方法、装置、设备及介质，以解决上述存在的一个或多个技术问题。本发明的联邦学习方法，能够统筹考虑并解决上述模型性能问题、通讯成本问题和数据隐私问题，经实验验证，本发明的联邦学习方法与其他方法对比，在保证较高模型性能的同时，保持了较低的通讯量，同时提供数学严格的隐私保护。

为达到上述目的，本发明采用以下技术方案：

本发明第一方面提供的一种基于分层自适应的联邦学习方法，包括以下步骤：

将待训练模型划分为浅层模型和深层模型；其中，所述浅层模型为所述待训练模型中靠近其输入端的前L层模型部分，所述深层模型为所述待训练模型的剩余部分；

对浅层模型和深层模型进行同步联邦训练，获得训练好的浅层模型和深层模型；其中，基于若干第一类参与端，对所述浅层模型进行若干轮的联邦训练直到模型收敛为止，获得训练好的浅层模型；基于若干第二类参与端，对所述深层模型进行若干轮的联邦训练直到模型收敛为止，获得训练好的深层模型；第一类参与端与第二类参与端之间通过聚类分组的方式进行匹配；匹配到一起的第一类参与端与第二类参与端之间采用压缩校正的方式进行数据传输；

将训练好的浅层模型和深层模型进行拼接，完成所述基于分层自适应的联邦学习。

本发明方法的进一步改进在于，所述通过聚类分组的方式进行匹配的具体步骤包括：

第一类参与端计算其本地数据集分布的信息熵H、本地数据集分布与均匀分布之间的KL散度D；

根据二元组(H，D)对第一类参与端进行k-means聚类，获得多个集群；

从每个集群中随机选择若干第一类参与端标记为一个组，并将该组分配给一个第二类参与端；重复标记并分配，直至所有的第一类参与端都分配至第二类参与端。