[发明专利]基于差分隐私法的联邦学习方法及装置

说明书

本申请实施例提供基于差分隐私法的联邦学习方法及装置，其中的基于差分隐私法的联邦学习方法包括：基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号，开始监测目标周期内的信号接收情况数据；若监测到目标周期内的信号接收情况数据满足预设的半同步训练规则，则获取目标周期内接收的各个阶段完成信号各自对应的阶段训练结果数据，并基于差分隐私法及各个阶段训练结果数据训练目标模型。本申请能够在为目标模型的联邦学习过程提供差分隐私保护的前提下，有效避免掉队者效应的干扰，避免计算资源的浪费并能够提高目标模型的收敛速度，进而能够有效提高目标模型的训练效率及应用及时性。

技术领域

本申请涉及数据处理技术领域，具体涉及基于差分隐私法的联邦学习方法及装置。

背景技术

联邦学习是近年来解决大规模机器学习中数据隐私泄露的一种典型方法，服务器在根据各个参与节点发送的本地模型训练得到目标模型后，会将更新后的目标模型及参数发送给参与节点，在此过程中，模型的梯度信息可能被恶意用户截获并反推出参与节点的隐私数据。为了防止梯度信息泄露，进一步提高联邦学习的安全性，可以将差分隐私技术加入联邦学习过程中。差分隐私保护是基于数据失真的隐私保护技术，采用对数据添加噪声的方式来模糊数据，掩盖敏感数据信息，使数据无法被还原。

目前，基于差分隐私技术的联邦学习过程为：基于同步通信的所有参与节点执行相同的本地训练次数，而后在服务器收到所有参与节点发送的本地模型后，通过引入高斯噪声来为整个联邦系统提供差分隐私保护，从而能抵御背景知识攻击等外部攻击者的侵入行为。

然而，同步通信对于基于差分隐私技术的联邦学习的资源利用和配置有着明显的限制，采用同步通信方式来实现联邦学习过程中的模型聚合，由于同步通信的各个参与节点之间的系统差异等因素，尤其在异构的网络环境中容易被“掉队者效应”干扰而大幅度影响聚合模型的收敛速度，因此使得现有的基于差分隐私技术的联邦学习过程存在参与节点等待时间长、计算资源浪费等问题，进而导致联邦学习中的目标模型的收敛速度低及训练效率差等问题。

发明内容

针对现有技术中的问题，本申请提供一种基于差分隐私法的联邦学习方法及装置，能够在为目标模型的联邦学习过程提供差分隐私保护的前提下，有效避免掉队者效应的干扰，避免计算资源的浪费并能够提高目标模型的收敛速度，进而能够有效提高目标模型的训练效率及应用及时性。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种基于差分隐私法的联邦学习方法，包括：

基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号，开始监测目标周期内的信号接收情况数据；

若监测到所述目标周期内的所述信号接收情况数据满足预设的半同步训练规则，则获取所述目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据，并基于差分隐私法及各个所述阶段训练结果数据训练目标模型。

进一步地，所述获取所述目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据，并基于各个所述阶段训练结果数据训练目标模型，包括：

获取所述目标周期内接收的各个所述阶段完成信号各自的阶段训练结果数据，其中，该阶段训练结果数据包括本地模型及模型更新值；

根据目标周期的各个所述阶段训练结果数据分别获取各个所述本地模型各自的相对陈旧值，其中，所述相对陈旧值为对应的本地模型在目标周期的总步长与目标模型的步长差之间的比值，所述目标模型的步长差为所述目标模型在目标周期的总步长与前一周期的总步长之间的差值；

基于差分隐私法、各个所述本地模型各自对应的相对陈旧值和模型更新值训练所述目标模型。

进一步地，在所述基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号，开始监测目标周期内的信号接收情况数据之前，还包括：