[发明专利]一种基于联邦学习的模型训练方法及系统

说明书

本发明公开了一种基于联邦学习的模型训练方法及系统，方法包括：中央服务器将参数发送至各个节点设备；各个节点设备基于参数和本地数据集进行神经网络模型训练，并获得梯度值；每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备；该方法能够保证模型训练精度，同时保护参与方的隐私数据。

技术领域

本申请涉及信息技术领域，尤其涉及一种基于联邦学习的模型训练方法及系统。

背景技术

联邦学习致力于解决多用户在不公开各自数据集的情形下，协同完成模型训练的问题。例如在医疗大数据建模场景中，各家医院拥有不同的病人样本数据。由于各家医院拥有的数据量有限，如果仅仅基于自身的数据来训练模型，受样本规模的限制，模型效果难以达到预期。如果能将各家数据聚合来训练，则可以大幅提升模型精度。然而出于医院之间的竞争以及对病人数据隐私保护的要求，医院不可能将自身的客户数据向任何第三方发布，直接将各家数据聚合到一起建模是行不通的。因此，联邦学习技术应运而生，给医疗机构在不泄露自身原始数据的情形下，共同训练机器学习模型提供了可能。

共同训练的模型可以是机器学习模型或神经网络模型，通过协同训练来找到模型合适的参数，使得总损失函数最小。通常会使用梯度下降方法来更新模型参数，即在给定了模型初始参数后，通过梯度信息一步步更新参数，直到损失函数的值达到最小。通过联邦学习，参与方之间不需要共享原始数据，而只需要基于自身数据建模，并将梯度信息传送出去，通过各家梯度信息更新参数即可完成模型训练。

然而虽然各成员之间不会共享数据，而仅仅通过将梯度值传给中央服务器，并由中央服务器计算出梯度和并传送给各节点，以完成模型训练。然而该中央服务器存在通过这些梯度值反推出节点原始信息的可能性。

传统的差分隐私办法会让每个参与方在自身的梯度值上叠加一个噪声再传递给中央服务器，然而如果该噪声过大，则模型精度会急剧下降，而如果噪声过小，又起不到保护隐私的作用。该方法始终存在着精度与隐私性难以权衡的问题。

发明内容

为解决现有的联邦学习方法存在的精度与隐私性难以权衡的问题，本发明提供了一种基于联邦学习的模型训练方法及系统。

一种基于联邦学习的模型训练方法，节点设备和中央服务器分别部署有神经网络模型，所述方法包括：

迭代执行以下步骤，直到满足训练停止条件：

中央服务器将参数发送至各个节点设备；

各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；

每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；

各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；

中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。

进一步地，节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值，包括；

节点设备基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。

进一步地，节点设备将自身获得的梯度值进行加噪，获得加噪梯度值，包括：

节点设备生成噪声值，将所述噪声值与自身获得的梯度值进行叠加，获得所述加噪梯度值。