[发明专利]基于差分隐私的联邦学习方法、装置及电子设备

权利要求书

1.一种基于差分隐私的联邦学习方法，所述联邦学习通过服务器和多个终端设备进行，所述方法应用于任一终端设备，所述方法包括多次迭代，其中，每次迭代包括：

从本地训练集中选取训练数据，并获取服务器发送的当前本地参数；

基于所述训练数据和所述当前本地参数，确定待处理的第一梯度向量，所述第一梯度向量的欧式范数小于等于预设范数U；

对所述第一梯度向量进行多级量化处理，得到第二梯度向量；

在所述第二梯度向量的向量空间中，基于所述第二梯度向量，生成第一向量集合和第二向量集合，使所述第一向量集合中的任一向量与所述第二梯度向量具有的相同向量分量的数量大于预设数量κ，使所述第二向量集合中的任一向量与所述第二梯度向量具有的相同向量分量的数量小于等于所述预设数量κ；

从所述第一向量集合或所述第二向量集合中随机采样出第三梯度向量；其中，从所述第一向量集合和从所述第二向量集合中采样的概率分别为预设概率p和1-p；其中，所述预设概率p大于等于0.5；并且，所述预设数量κ和所述预设概率p的设定使所述采样满足差分隐私；

对所述第三梯度向量进行归一化，得到目标梯度向量，并向所述服务器上传所述目标梯度向量。

2.根据权利要求1所述的方法，其中，所述对所述第一梯度向量进行多级量化处理，得到第二梯度向量，包括：

将从-U到U的区间范围平均分成多个子区间；

确定所述第一梯度向量的各个分量的值在所述多个子区间中各自对应的各个目标子区间；

基于预设的概率，随机选取所述各个目标子区间的两个端点中的任意一个端点，作为各个分量的修正值；

基于所述各个分量的修正值，获取所述第二梯度向量。

3.根据权利要求1所述的方法，其中，所述基于所述训练数据和所述当前本地参数，确定待处理的第一梯度向量，包括：

基于所述训练数据和所述当前本地参数，确定当前本地梯度向量，所述当前本地梯度向量的欧式范数被规范到小于等于所述预设范数U；

从所述当前本地梯度向量的分量中随机选取预设个数x个目标分量；

确定本次迭代的当前梯度残差向量；

获取所述当前梯度残差向量在所述目标分量的方向上的目标残差分量；

基于所述目标分量和所述目标残差分量，确定所述第一梯度向量。

4.根据权利要求3所述的方法，其中，首次迭代时，所述当前梯度残差向量为0；非首次迭代时，所述当前梯度残差向量为第一向量部分与预设的第一修正因子的乘积和第二向量部分之和；所述第一向量部分为上次迭代中的本地梯度向量除掉上次迭代中的目标分量以外的分量部分；所述第二向量部分为上次迭代中的梯度残差向量除掉上次迭代中的目标残差分量以外的分量部分。

5.根据权利要求3所述的方法，其中，所述基于所述目标分量和所述目标残差分量，确定所述第一梯度向量，包括：

确定目标旋转矩阵，所述目标旋转矩阵为正交矩阵；

计算所述目标分量和预设的第二修正因子的乘积与所述目标残差分量之和，并利用所述目标旋转矩阵乘以所述计算的结果，得到所述第一梯度向量。

6.根据权利要求5所述的方法，其中，所述确定目标旋转矩阵，包括：

生成目标对角矩阵；所述目标对角矩阵的对角元素为0.5；

获取目标沃尔什-阿达玛矩阵；

利用所述目标沃尔什-阿达玛矩阵乘以所述目标对角矩阵，并除以所述预设个数x。