[发明专利]联邦学习梯度交换中的差异化加噪方法及系统

说明书

本发明公开了一种联邦学习梯度交换中的差异化加噪方法、介质及系统，其中方法包括：多个数据方分别获取对应的训练数据集，并分别根据对应的训练数据集对深度学习模型进行训练，以更新深度学习模型的梯度；每个数据方将对应的梯度进行分层处理，并计算每一层梯度对应的二范数，以及根据二范数对每一层梯度进行加噪，并将加噪后的梯度发送至中心服务器；中心服务器对加噪后的梯度进行聚合，并将聚合后的梯度发送给每个数据方，以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新；能够提高联邦学习的数据交换过程中隐私的保护强度，同时，相较于传统联邦学习中加密算法，可以降低数据传输的开销。

技术领域

本发明涉及深度学习技术领域，特别涉及一种联邦学习梯度交换中的差异化加噪方法、一种计算机可读存储介质以及一种联邦学习梯度交换中的差异化加噪系统。

背景技术

在进行数据共享和分布式深度学习的过程中，往往存在数据隐私泄露的问题。为了解决这一问题，多采用联邦学习方法，以减少数据交换过程中的隐私泄露。

相关技术中，在使用梯度更新算法的过程中，往往存在隐私保护强度不高的问题；而为了加强隐私保护的强度，通常采用同态加密方法，而这一方法在深度学习的场景中，将会使得原本就庞大的梯度数据再度扩大，进而带来巨大的数据传输开销。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种联邦学习梯度交换中的差异化加噪方法，能够提高联邦学习的数据交换过程中隐私的保护强度，同时，降低数据传输的开销。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种联邦学习梯度交换中的差异化加噪系统。

为达到上述目的，本发明第一方面实施例提出了一种联邦学习梯度交换中的差异化加噪方法，包括以下步骤：多个数据方分别获取对应的训练数据集，并分别根据对应的训练数据集对深度学习模型进行训练，以更新所述深度学习模型的梯度；每个数据方将对应的梯度进行分层处理，并计算每一层梯度对应的二范数，以及根据所述二范数对每一层梯度进行加噪，并将加噪后的梯度发送至中心服务器；所述中心服务器对所述加噪后的梯度进行聚合，并将聚合后的梯度发送给每个数据方，以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新。

根据本发明实施例的联邦学习梯度交换中的差异化加噪方法，首先，多个数据方分别获取对应的训练数据集，并分别根据对应的训练数据集对深度学习模型进行训练，以更新深度学习模型的梯度；接着，每个数据方将对应的梯度进行分层处理，并计算每一层梯度对应的二范数，以及根据二范数对每一层梯度进行加噪，并将加噪后的梯度发送至中心服务器；然后，中心服务器对加噪后的梯度进行聚合，并将聚合后的梯度发送给每个数据方，以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新；从而实现提高联邦学习的数据交换过程中隐私的保护强度，同时，降低数据传输的开销。

另外，根据本发明上述实施例提出的联邦学习梯度交换中的差异化加噪方法还可以具有如下附加的技术特征：

可选地，所述深度学习模型的损失函数设置为：

L_ij(θ_i,x_j),x_j∈D_i且j＝1,…,c_i

其中，θ_i表示网络参数，x_j表示训练数据，D_i表示训练数据集，c_i表示训练数据集包含的数据总数。

可选地，所述深度学习模型的梯度通过以下公式计算：