[发明专利]一种面向云边聚合系统的多重差分隐私保护方法及系统

权利要求书

1.一种面向云边聚合系统的多重差分隐私保护方法，其特征在于，包括：

步骤S1，通过云中心服务器将全局模型分发至各个边缘服务器；

步骤S2，在每个边缘服务器上利用其自身的原始数据来对全局模型进行训练，得到每个边缘服务器的本地模型参数，采用GRR机制对每个边缘服务器的本地模型参数进行扰动，得到每个边缘服务器扰动后的本地模型参数；

步骤S3，将每个边缘服务器扰动后的本地模型参数发送到云中心服务器，并在云中心服务器进行参数聚合，得到聚合后的全局模型参数，向聚合后的全局模型参数中加入拉普拉斯噪声，得到加噪处理的全局模型参数；

步骤S4，判断加噪处理的全局模型参数是否收敛或者达到更新次数；若收敛或者达到更新次数，将加噪处理的全局模型参数作为最终的全局模型的参数；若不收敛且没达到更新次数，则利用加噪处理的全局模型参数更新每个边缘服务器的全局模型；

步骤S5，重复步骤S2-步骤S4，直至全局模型参数收敛或者达到更新次数；

所述步骤S2，包括：

步骤1：从云中心服务器获取最新的加噪处理的全局模型参数，若当前轮为第一轮迭代，则从云中心服务器获取全局模型的初始参数，随机地将每一个边缘服务器的自身数据集D_k划分为批量大小为M的训练集；

步骤2：在各边缘服务器中进行迭代轮数共S轮的循环，在第i轮循环中将获取的加噪处理的全局模型参数作为每个边缘服务器的本地模型参数，表示为，其中B表示批量数量，，计算从1到B轮批量的梯度，每一轮批量的序号记为b1，的批量梯度记为，n_k表示训练集中的第k个数据点，k=1,2,…,M，表示在本地第i轮训练前的初始本地模型参数，表示在本地第i-1轮训练后的本地模型参数，k表示为每一个边缘服务器本地训练集中的第k个数据点，b1表示每一个边缘服务器训练的批量序号，i为边缘服务器中进行训练的轮数序号；

步骤3：在每一个边缘服务器中，采用步骤2的方法，利用各边缘服务器的本地模型参数进行更新，表示为：，η表示该训练的学习率，为固定值，表示边缘服务器在k数据点条件下，批量b1中第i轮训练的本地参数，表示边缘服务器在k数据点条件下，批量b1+1中第i轮训练的本地参数，←表示进行参数更新；

步骤4：采用GRR机制对每个边缘服务器更新后的本地模型参数进行扰动，得到扰动后的本地模型参数，将扰动后的本地模型参数发送至中心服务器。

2.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法，其特征在于，所述拉普拉斯噪声的概率密度为：

其中，p(x)为期望为0，方差为2b²的拉普拉斯噪声的概率密度，b为普拉斯分布中的尺度参数，e为自然常数，x为全局训练后所得到的结果，μ为位置常数，μ=0。

3.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法，其特征在于，所述扰动的扰动函数表示为：

其中，Pr[M(x)=y]表示用户以的概率发送自己真实的答案x，同时以的概率随机从D中选择x外的任意一个答案y，D为答案集合，表示为，为隐私保护预算，e为自然常数，d为答案集合D中的一个答案。

4.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法，其特征在于，所述加噪处理的全局模型参数表示为：

其中，表示加噪处理的全局模型参数，表示聚合后的全局模型参数，表示加入的拉普拉斯噪声，表示在第i轮训练后在全局模型参数中加入的噪声，Δf为全局敏感度，ε表示隐私保护预算，t为全局模型参数的迭代次数。

5.一种面向云边聚合系统的多重差分隐私保护系统，其特征在于，包括：

分发模块，用于通过云中心服务器将全局模型分发至各个边缘服务器；

本地训练模块，用于在每个边缘服务器上利用其自身的原始数据来对全局模型进行训练，得到每个边缘服务器的本地模型参数，采用GRR机制对每个边缘服务器的本地模型参数进行扰动，得到每个边缘服务器扰动后的本地模型参数；

聚合模块，用于将每个边缘服务器扰动后的本地模型参数发送到云中心服务器，并在云中心服务器进行参数聚合，得到聚合后的全局模型参数，向聚合后的全局模型参数中加入拉普拉斯噪声，得到加噪处理的全局模型参数；

判断模块，用于判断加噪处理的全局模型参数是否收敛或者达到更新次数；若收敛或者达到更新次数，将加噪处理的全局模型参数作为最终的全局模型的参数；若不收敛且没达到更新次数，则利用加噪处理的全局模型参数更新每个边缘服务器的全局模型，直至全局模型参数收敛或者达到更新次数；

所述本地训练模块的训练过程，包括：

步骤1：从云中心服务器获取最新的加噪处理的全局模型参数，若当前轮为第一轮迭代，则从云中心服务器获取全局模型的初始参数，随机地将每一个边缘服务器的自身数据集D_k划分为批量大小为M的训练集；

步骤2：在各边缘服务器中进行迭代轮数共S轮的循环，在第i轮循环中将获取的加噪处理的全局模型参数作为每个边缘服务器的本地模型参数，表示为，其中B表示批量数量，，计算从1到B轮批量的梯度，每一轮批量的序号记为b1，的批量梯度记为，n_k表示训练集中的第k个数据点，k=1,2,…,M，表示在本地第i轮训练前的初始本地模型参数，表示在本地第i-1轮训练后的本地模型参数，k表示为每一个边缘服务器本地训练集中的第k个数据点，b1表示每一个边缘服务器训练的批量序号，i为边缘服务器中进行训练的轮数序号；

步骤3：在每一个边缘服务器中，采用步骤2的方法，利用各边缘服务器的本地模型参数进行更新，表示为：，η表示该训练的学习率，为固定值，表示边缘服务器在k数据点条件下，批量b1中第i轮训练的本地参数，表示边缘服务器在k数据点条件下，批量b1+1中第i轮训练的本地参数，←表示进行参数更新；

步骤4：采用GRR机制对每个边缘服务器更新后的本地模型参数进行扰动，得到扰动后的本地模型参数，将扰动后的本地模型参数发送至中心服务器。