[发明专利]基于差分隐私的联邦学习方法、装置及电子设备

说明书

本说明书实施例提供一种基于差分隐私的联邦学习方法及装置、电子设备，该方法应用于任一终端设备，包括多次迭代，每次迭代包括：基于训练数据和当前本地参数，确定待处理的第一梯度向量，该第一梯度向量的欧式范数小于等于预设范数，对第一梯度向量进行多级量化处理，得到第二梯度向量，在第二梯度向量的向量空间中，基于第二梯度向量，生成第一向量集合和第二向量集合，进行满足差分隐私的采样，以从第一向量集合或第二向量集合中随机采样出第三梯度向量。对第三梯度向量进行归一化，得到目标梯度向量，并向服务器上传目标梯度向量。能够提高联邦学习过程中的通讯效率，从而提高了联邦学习的效率。

技术领域

本说明书一个或多个实施例涉及隐私保护技术领域，特别涉及一种基于差分隐私的联邦学习方法、装置及电子设备。

背景技术

机器学习所需要的数据往往会涉及到多个领域。例如在基于机器学习的商户分类分析场景中，电子支付平台拥有商户的交易流水数据，电子商务平台存储有商户的销售数据，银行机构拥有商户的借贷数据。数据往往以孤岛的形式存在。由于行业竞争、数据安全、用户隐私等问题，数据整合面临着很大阻力，如何更高效地将分散在各个平台的数据整合在一起训练机器学习模型具有尤为重要的意义。

发明内容

为了解决上述技术问题之一，本说明书一个或多个实施例提供一种基于差分隐私的联邦学习方法、装置及电子设备。

根据第一方面，提供一种基于差分隐私的联邦学习方法，所述联邦学习通过服务器和多个终端设备进行，所述方法应用于任一终端设备，所述方法包括多次迭代，其中，每次迭代包括：

从本地训练集中选取训练数据，并获取服务器发送的当前本地参数；

基于所述训练数据和所述当前本地参数，确定待处理的第一梯度向量，所述第一梯度向量的欧式范数小于等于预设范数U；

对所述第一梯度向量进行多级量化处理，得到第二梯度向量；

在所述第二梯度向量的向量空间中，基于所述第二梯度向量，生成第一向量集合和第二向量集合，使所述第一向量集合中的任一向量与所述第二梯度向量具有的相同向量分量的数量大于预设数量κ，使所述第二向量集合中的任一向量与所述第二梯度向量具有的相同向量分量的数量小于等于所述预设数量κ；

从所述第一向量集合或所述第二向量集合中随机采样出第三梯度向量；其中，从所述第一向量集合和从所述第二向量集合中采样的概率分别为预设概率p和1-p；其中，所述预设概率p大于等于0.5；并且，所述预设数量κ和所述预设概率p的设定使所述采样满足差分隐私；

对所述第三梯度向量进行归一化，得到目标梯度向量，并向所述服务器上传所述目标梯度向量。

可选的，所述对所述第一梯度向量进行多级量化处理，得到第二梯度向量，包括：

将从-U到U的区间范围平均分成多个子区间；

确定所述第一梯度向量的各个分量的值在所述多个子区间中各自对应的各个目标子区间；

基于预设的概率，随机选取所述各个目标子区间的两个端点中的任意一个端点，作为各个分量的修正值；

基于所述各个分量的修正值，获取所述第二梯度向量。

可选的，所述基于所述训练数据和所述当前本地参数，确定待处理的第一梯度向量，包括：

基于所述训练数据和所述当前本地参数，确定当前本地梯度向量，所述当前本地梯度向量的欧式范数被规范到小于等于所述预设范数U；

从所述当前本地梯度向量的分量中随机选取预设个数x个目标分量；

确定本次迭代的当前梯度残差向量；

获取所述当前梯度残差向量在所述目标分量的方向上的目标残差分量；