[发明专利]基于差分隐私的联合学习安全聚合方法及装置

权利要求书

1.一种基于差分隐私的联合学习安全聚合方法，其特征在于，应用于服务器，所述方法包括：

对联合模型和隐私会计值进行初始化；

从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型，以使得所述目标客户端利用所述目标客户端本地的用户数据，对所下载的联合模型进行训练，获得本轮沟通的模型更新参数，并发送给所述服务器；

基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，并利用所述本轮沟通的更新模型，更新所述服务器本地的联合模型；

按照中心极限定理，利用f-差分隐私机制更新所述服务器中存储的隐私会计值，得到当前的隐私会计值；

当所述当前的隐私会计值大于隐私阈值时，将所述服务器本地的联合模型确定为训练得到的联合模型，否则，执行所述从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型；

所述按照中心极限定理，利用f-差分隐私机制更新所述服务器中存储的隐私会计值，得到当前的隐私会计值，包括：

将差分隐私的隐私保证参数输入隐私会计值公式，得到新的隐私会计值；

将所述服务器中存储的隐私会计值更新为所述新的隐私会计值，得到当前的隐私会计值；

其中，所述隐私会计值公式为：

所述μ为所述新的隐私会计值，所述p为预设采样参数，所述T为联合学习的总沟通轮数，所述σ为噪声尺度参数，所述Φ为标准正态分布。

2.根据权利要求1所述的方法，其特征在于，所述基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，包括：

按照保证所述服务器中的联合模型对不同用户数据之间的识别差异属于预设区间的规则，获取裁剪参数；

利用所述裁剪参数以及所接收的模型更新参数，对所述服务器中的联合模型的各神经网络层进行分层裁剪，获得各神经网络层对应的裁剪后更新参数；

针对所述服务器中的联合模型的各神经网络层，利用差分隐私机制对该神经网络层对应的裁剪后更新参数进行聚合以及加噪处理，并将处理后的参数作为所述服务器中的联合模型的参数，得到本轮沟通的更新模型。

3.根据权利要求2所述的方法，其特征在于，所述按照保证所述服务器中的联合模型对不同用户数据之间的识别差异属于预设区间的规则，获取裁剪参数，包括：

按照联合平均公式获取裁剪权重；

将所述裁剪权重输入第一裁剪参数公式，得到裁剪参数；

其中，所述联合平均公式为：所述第一裁剪参数公式为：

所述V_k为第k个目标客户端的用户数据对应的裁剪权重，所述n_k为第k个目标客户端的用户数据量，所述n为用户数据总量，所述C_j是第j层神经网络层的裁剪参数，所述v_k为第k个目标客户端的用户数据丰富度，所述m为目标客户端的总数，所述w_j是第j层神经网络层的权重。

4.根据权利要求2所述的方法，其特征在于，所述按照保证所述服务器中的联合模型对不同用户数据之间的识别差异属于预设区间的规则，获取裁剪参数，包括：

针对所述服务器中的联合模型的各神经网络层，将该神经网络层的权重输入第二裁剪参数公式，得到裁剪参数；

其中，所述第二裁剪参数公式为：C_j＝median(||w_j||₂)；

所述C_j是第j层神经网络的裁剪参数，所述w_j是第j层神经网络层的权重。