[发明专利]基于差分隐私法的联邦学习方法及装置

权利要求书

1.一种基于差分隐私法的联邦学习方法，其特征在于，包括：

基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号，开始监测目标周期内的信号接收情况数据；

若监测到所述目标周期内的所述信号接收情况数据满足预设的半同步训练规则，则获取所述目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据，并基于差分隐私法及各个所述阶段训练结果数据训练目标模型。

2.根据权利要求1所述的基于差分隐私法的联邦学习方法，其特征在于，所述获取所述目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据，并基于各个所述阶段训练结果数据训练目标模型，包括：

获取所述目标周期内接收的各个所述阶段完成信号各自的阶段训练结果数据，其中，该阶段训练结果数据包括本地模型及模型更新值；

根据目标周期的各个所述阶段训练结果数据分别获取各个所述本地模型各自的相对陈旧值，其中，所述相对陈旧值为对应的本地模型在目标周期的总步长与目标模型的步长差之间的比值，所述目标模型的步长差为所述目标模型在目标周期的总步长与前一周期的总步长之间的差值；

基于差分隐私法、各个所述本地模型各自对应的相对陈旧值和模型更新值训练所述目标模型。

3.根据权利要求1所述的基于差分隐私法的联邦学习方法，其特征在于，在所述基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号，开始监测目标周期内的信号接收情况数据之前，还包括：

向分布式设置的各个联邦学习参与节点分别发送相同的阶段训练次数阈值，以使各个所述联邦学习参与节点在各自基于本地训练数据训练本地模型的次数满足所述阶段训练次数阈值后，发出对应的阶段完成信号并再次基于所述阶段训练次数阈值进行本地模型训练。

4.根据权利要求1所述的基于差分隐私法的联邦学习方法，其特征在于，所述基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号，开始监测目标周期内的信号接收情况数据，包括：

若接收到分布式设置的各个联邦学习参与节点中任意一个发送的阶段完成信号，则以该阶段完成信号作为当前目标周期的首个信号并开始监测目标周期内的信号接收情况数据；

实时判断目标周期内的所述信号接收情况数据是否满足预设的半同步训练规则，其中，所述半同步训练规则包括：目标周期内接收的所述阶段完成信号的总数已达到信号总数阈值，和/或，目标周期的持续时间已到达周期时长阈值。

5.根据权利要求2所述的基于差分隐私法的联邦学习方法，其特征在于，所述获取所述目标周期内接收的各个所述阶段完成信号各自的阶段训练结果数据，其中，该阶段训练结果数据包括本地模型及模型更新值，包括：

结束针对当前目标周期的监测；

基于预设的防信号丢失通信协议，向在所述目标周期内发出各个所述阶段完成信号的联邦学习参与节点分别发送阶段训练结果请求，以使收到所述阶段训练结果请求的各个所述联邦学习参与节点分别基于所述防信号丢失通信协议发送各个所述阶段完成信号各自对应的本地模型；

接收各个所述本地模型，并获取各个所述本地模型各自对应的模型更新值。

6.根据权利要求2所述的基于差分隐私法的联邦学习方法，其特征在于，所述基于差分隐私法、各个所述本地模型各自对应的相对陈旧值和模型更新值训练所述目标模型，包括：

获取各个所述本地模型各自对应的二阶范数；

根据各个所述本地模型各自对应的相对陈旧值和二阶范数，分别生成各个所述本地模型各自对应的全局敏感度；

基于各个所述本地模型各自对应的全局敏感度分别对各个所述本地模型各自对应的模型更新值进行裁剪，并对各个经裁剪后的模型更新值进行聚合以得到模型更新聚合值；

基于差分隐私法，在根据所述模型更新聚合值以及各个所述本地模型训练所述目标模型的过程中设置高斯噪声，并在该高斯噪声对应的隐私预算为0时停止训练所述目标模型。