[发明专利]一种基于联邦学习的模型训练方法及系统

权利要求书

1.一种基于联邦学习的模型训练方法，其特征在于，节点设备和中央服务器分别部署有神经网络模型，所述方法包括：

迭代执行以下步骤，直到满足训练停止条件：

中央服务器将参数发送至各个节点设备；

各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；

每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；

各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；

中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备；

其中，各个节点设备通过点对点方式计算噪声值和，包括：

首节点设备生成额外噪声值，将所述额外噪声值与所述首节点设备的噪声值叠加，获得叠加噪声值之后发送至下一节点设备；

各节点设备接收到上一节点设备发送的叠加噪声值之后，将各自的噪声值叠加到所述叠加噪声值上，并发送至下一节点设备；

最后一个节点设备将叠加噪声值发送至所述首节点设备，所述首节点设备将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和。

2.根据权利要求1所述的方法，其特征在于，节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值，包括：

节点设备基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。

3.根据权利要求1所述的方法，其特征在于，节点设备将自身获得的梯度值进行加噪，获得加噪梯度值，包括：

节点设备生成噪声值，将所述噪声值与自身获得的梯度值进行叠加，获得所述加噪梯度值。

4.根据权利要求1或3所述的方法，其特征在于，中央服务器计算加噪梯度值和，包括：

中央服务器将接收到的各个节点设备的加噪梯度值进行相加，获得加噪梯度值和。

5.根据权利要求1所述的方法，其特征在于，所述首节点设备将所述噪声值和发送至中央服务器。

6.根据权利要求1所述的方法，其特征在于，中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，包括：

中央服务器将所述加噪梯度值和减去所述噪声值和，获得所述梯度值和。

7.根据权利要求2所述的方法，其特征在于，所述训练停止条件为：

超过预设数量的节点设备的神经网络模型收敛。

8.根据权利要求7所述的方法，其特征在于，所述节点设备的神经网络模型收敛的条件为损失函数值的变化值小于预设值。

9.一种基于联邦学习的模型训练系统，其特征在于，包括中央服务器和N个节点设备，其中，N为大于1的整数；

迭代执行以下步骤，直到满足训练停止条件：

中央服务器将参数发送至各个节点设备；

各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；

每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；

各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；

中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备；

其中，各个节点设备通过点对点方式计算噪声值和，包括：

首节点设备生成额外噪声值，将所述额外噪声值与所述首节点设备的噪声值叠加，获得叠加噪声值之后发送至下一节点设备；

各节点设备接收到上一节点设备发送的叠加噪声值之后，将各自的噪声值叠加到所述叠加噪声值上，并发送至下一节点设备；

最后一个节点设备将叠加噪声值发送至所述首节点设备，所述首节点设备将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和。