[发明专利]一种联邦学习模型训练方法及系统

权利要求书

1.一种联邦学习模型训练方法，其特征在于，包括：

中央服务器将初始参数发送至各个节点设备；

各个节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；

中央服务器生成密钥对，并将公钥发送给各个节点设备；

各节点设备采用所述公钥对梯度值进行加密，获得加密梯度；

各节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；

中央服务器通过私钥对所述加密梯度和进行解密，获得梯度和，并发送至各个节点设备；

节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件；

其中，各节点设备通过点对点方式计算加密梯度和，包括：

首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；

各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；

最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和；所述首节点设备将所述加密梯度和发送至中央服务器。

2.根据权利要求1所述的方法，其特征在于，节点设备基于初始参数或者更新的参数以及本地数据集进行模型训练，获得梯度值，包括：

节点设备基于所述初始参数或者更新的参数，以及本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。

3.根据权利要求1所述的方法，其特征在于，所述中央服务器基于同态加密算法生成密钥对。

4.根据权利要求2所述的方法，其特征在于，所述训练停止条件为：

超过预设数量的节点设备的模型收敛。

5.根据权利要求4所述的方法，其特征在于，所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。

6.一种联邦学习模型训练系统，其特征在于，包括中央服务器和N个节点设备，其中，N为大于1的整数；

所述中央服务器将初始参数发送至各个节点设备；

各个所述节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；

所述中央服务器生成密钥对，并将公钥发送给各个节点设备；

各所述节点设备采用所述公钥对梯度值进行加密，获得加密梯度；

各所述节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；

所述中央服务器通过私钥对所述加密梯度和进行解密，获得各节点设备的梯度和，并发送至各个节点设备；

所述节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件；

所述N个节点设备依次通信连接，首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和；

所述首节点设备将所述加密梯度和发送至中央服务器。

7.根据权利要求6所述的联邦学习模型训练系统，其特征在于，所述训练停止条件为：超过预设数量的节点设备的模型收敛；所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。