[发明专利]基于差分隐私的联合学习安全聚合方法及装置

说明书

本发明实施例提供了一种基于差分隐私的联合学习安全聚合方法及装置，应用于服务器，对联合模型和隐私会计值进行初始化；接收目标客户端利用目标客户端本地的用户数据对从服务器中下载的联合模型进行训练获得的本轮沟通的模型更新参数；基于模型更新参数利用差分隐私机制对服务器中的联合模型进行聚合以及加噪处理，得到并利用本轮沟通的更新模型更新服务器本地的联合模型；按照中心极限定理，利用f‑差分隐私机制更新隐私会计值；若当前的隐私会计值大于隐私阈值，将服务器本地的联合模型确定为训练得到的联合模型，否则，执行从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端。本方案可以提高联合学习的安全性。

技术领域

本发明涉及联合学习技术领域，特别是涉及一种基于差分隐私的联合学习安全聚合方法及装置。

背景技术

联合学习是指在无需多方数据实体泄露各自存储的数据以保护用户隐私的情况下，让一个模型从多方数据实体存储的海量数据中受益的模型训练过程。示例性的，多家医院可以聚合各自存储的患者医疗数据对模型作出的贡献，共同训练一个分析医学影像数据的机器视觉模型，而无需共享患者的医疗数据。多家银行可以聚合各自存储的用户账户数据对模型作出的贡献，共同训练一个用于评估用户的金融借贷风险的风险评估模型等等。

在具体应用中，可以在数据实体也就是客户端本地为用户数据添加噪声，通过对用户数据的扰动保护用户隐私，从而实现联合学习的安全聚合。但是，上述安全聚合仅局限于保护用户数据级的隐私，攻击者有可能通过用户数据对模型作出的贡献还原用户数据，导致联合学习的安全性降低。

发明内容

本发明实施例的目的在于提供一种基于差分隐私的联合学习安全聚合方法及装置，以实现隐藏用户数据对模型作出的贡献，提高联合学习的安全性的效果。具体技术方案如下：

第一方面，本发明实施例提供一种基于差分隐私的联合学习安全聚合方法，应用于服务器，所述方法包括：

对联合模型和隐私会计值进行初始化；

从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型，以使得所述目标客户端利用所述目标客户端本地的用户数据，对所下载的联合模型进行训练，获得本轮沟通的模型更新参数，并发送给所述服务器；

基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，并利用所述本轮沟通的更新模型，更新所述服务器本地的联合模型；

按照中心极限定理，利用f-差分隐私机制更新所述服务器中存储的隐私会计值，得到当前的隐私会计值；

当所述当前的隐私会计值大于隐私阈值时，将所述服务器本地的联合模型确定为训练得到的联合模型，否则，执行所述从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型。

第二方面，本发明实施例提供一种基于差分隐私的联合学习安全聚合装置，应用于服务器，所述装置包括：

初始化模块，用于对联合模型和隐私会计值进行初始化；

更新参数获取模块，用于从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型，以使得所述目标客户端利用所述目标客户端本地的用户数据，对所下载的联合模型进行训练，获得本轮沟通的模型更新参数，并发送给所述服务器；

模型更新模块，用于基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，并利用所述本轮沟通的更新模型，更新所述服务器本地的联合模型；

隐私会计值更新模块，用于按照中心极限定理，利用f-差分隐私机制更新所述服务器中存储的隐私会计值，得到当前的隐私会计值；