[发明专利]联邦学习信息处理方法、系统、存储介质、程序、终端

权利要求书

1.一种联邦学习信息处理方法，其特征在于，所述联邦学习信息处理方法包括：

第一步，参数服务器确认训练任务及初始参数，并初始化全局模型；

第二步，参数服务器随机选择部分参与者下发模型参数，加密并通过代理服务器转发；

第三步，参与者接受模型部分参数并覆盖本地模型，利用本地数据对模型进行优化；

第四步，参与者根据优化结果计算模型梯度，选择其中部分上传，对上传梯度添加噪声实现差分隐私，加密并通过代理服务器转发；

第五步，参数服务器接受所有参与者的梯度，整合并更新全局模型；

第六步，重复进行模型的下发—训练—更新过程，直到达到预期损失函数；

所述第一步的模型初始化包括：参数服务器确定训练任务，训练过程，以及相应的参数，并初始化全局模型

所述第二步的模型下发包括：

步骤一，参数服务器随机选择m个参与者，全局模型分别用这m个参与者的公钥(PK_1',PK_2',...,PK_m')加密，得到模型的密文数据：

步骤二，参数服务器将加密数据发送至代理服务器，代理服务器再转发给所有参与者；

所述第三步的本地优化包括：所有参与者接收密文数据后，用自己的私钥解密，若能解密得到明文，则随机选择个参数，并替换对应本地模型上的参数值，得到本地模型W_i^t，并在本地数据集D_i上优化模型，最小化损失函数：

其中，n_i是数据集的样本数，x_j表示某一样本，f(x_j,W_i^t)是样本通过模型输出的标签，y_j是样本本身标签；

通过小批量梯度下降法优化模型，将数据集D_i分为大小为b_size大小的子数据集的集合B_i，对于B_i中每个子数据集b，根据梯度下降更新模型参数：

W_i^t←W_i^t-αΔL(W_i^t；b)；

其中，α是学习率，ΔL是损失函数在b上的梯度，对B_i中所有子数据集更新完一次后即为一个epoch，经过多个epoch后得到预期优化模型；

所述第四步的梯度上传包括：

步骤一，计算模型梯度，即优化后模型与原全局模型的参数差值：

步骤二，选择其中最大的λ_u×|ΔW_i^t|个梯度上传，保持梯度不变，其余梯度置为0，将要上传的梯度范围限制在[-r,r]，敏感度Δf不超过2r，为每个梯度添加噪音，满足ε-差分隐私：

其中，f(D)代表原梯度值，A(D)代表添加噪音之后的梯度值，d取值1；

步骤三，将添加噪音之后的梯度用参数服务器公钥加密，并发送到代理服务器，然后由代理服务器转发给参数服务器；

所述第五步的模型更新包括：参数服务器接收并解密来自m个参与者的梯度值，整合优化得到全局模型全局模型的任一参数为：

其中，是原全局模型的参数值，是参与者i对应的梯度值；

所述第六步的迭代训练包括：继续上述的模型下发—优化—更新过程，直到模型达到预期损失函数：

2.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1所述的联邦学习信息处理方法。