[发明专利]一种基于分层自适应的联邦学习方法、装置、设备及介质

权利要求书

1.一种基于分层自适应的联邦学习方法，其特征在于，包括以下步骤：

将待训练模型划分为浅层模型和深层模型；其中，所述浅层模型为所述待训练模型中靠近其输入端的前L层模型部分，所述深层模型为所述待训练模型的剩余部分；

对浅层模型和深层模型进行同步联邦训练，获得训练好的浅层模型和深层模型；其中，基于若干第一类参与端，对所述浅层模型进行若干轮的联邦训练直到模型收敛为止，获得训练好的浅层模型；基于若干第二类参与端，对所述深层模型进行若干轮的联邦训练直到模型收敛为止，获得训练好的深层模型；第一类参与端与第二类参与端之间通过聚类分组的方式进行匹配；匹配到一起的第一类参与端与第二类参与端之间采用压缩校正的方式进行数据传输；

将训练好的浅层模型和深层模型进行拼接，完成所述基于分层自适应的联邦学习。

2.根据权利要求1所述的一种基于分层自适应的联邦学习方法，其特征在于，所述通过聚类分组的方式进行匹配的具体步骤包括：

第一类参与端计算其本地数据集分布的信息熵H、本地数据集分布与均匀分布之间的KL散度D；

根据二元组(H，D)对第一类参与端进行k-means聚类，获得多个集群；

从每个集群中随机选择若干第一类参与端标记为一个组，并将该组分配给一个第二类参与端；重复标记并分配，直至所有的第一类参与端都分配至第二类参与端。

3.根据权利要求1所述的一种基于分层自适应的联邦学习方法，其特征在于，对于匹配到一起的第一类参与端与第二类参与端，所述采用压缩校正的方式进行数据传输的具体步骤包括：

第一类参与端对计算获得的浅层模型的输出特征进行压缩，获得压缩特征；将压缩特征和对应标签发送给第二类参与端；

第二类参与端基于接收第一类参与端的压缩特征并还原，获得还原后的近似特征；将所述第二类参与端对应的所有第一类参与端的近似特征拼接，获得拼接特征；基于所述拼接特征和对应标签作为深层模型的输入计算获得损失函数的值；第二类参与端根据所述损失函数的值计算获得深层模型的梯度值和近似特征的梯度值，根据所述深层模型的梯度值更新本地深层模型；

第一类参与端接收所述近似特征的梯度值并进行校正，获得校正后的梯度值；根据校正后梯度值和本地浅层模型计算获得浅层模型的梯度值，根据所述浅层模型的梯度值更新本地浅层模型。

4.根据权利要求3所述的一种基于分层自适应的联邦学习方法，其特征在于，输出特征0的近似特征的表达式为：

式中，LF(O)表示近似特征，分别为SVD奇异值分解的矩阵，∑_O为对角矩阵，U_O[：，：k]，∑_O[：k]，V_O[：k]分别表示U_O，∑_O，V_O的前k列；∑_O[：k]用∑_O对角线上的前k个值代替表示，称该k个值为特征值；所述矩阵U_O[：，：k]，V_O[：k]和特征值构成了压缩特征；

近似特征与输出特征0的映射关系表达式为：

式中，映射关系用三层全连接层表示，其参数分别为D_k表示一个对角线矩阵，其对角线上的前k个元素为1，其余为0。

5.根据权利要求3所述的一种基于分层自适应的联邦学习方法，其特征在于，所述根据校正后梯度值和本地浅层模型计算获得浅层模型的梯度值，根据所述浅层模型的梯度值更新本地浅层模型的步骤具体包括：

第一类参与端利用校正后的梯度值对本地浅层模型进行后向传播，得到本地浅层模型的梯度dW^(c)；

对梯度dW^(c)进行裁剪和加噪保护隐私处理，获得加噪后梯度；其中，进行裁剪和加噪保护隐私处理的表达式为：式中，n^(c)是第一类参与端C的mini-batch的大小，是均值为0，方差为的高斯噪声；

用加噪后梯度更新本地浅层模型。