[发明专利]基于联邦学习的模型训练方法、系统、设备及存储介质

权利要求书

1.一种基于联邦学习的模型训练方法，包括：

将参与联邦学习的节点设备预先划分为若干集群；

集群内各节点设备基于参数服务器下发的初始参数和本地数据集进行模型训练，并将各自的模型参数利用差分隐私算法添加噪声后发送至集群内指定节点设备；

各集群内指定节点设备利用软聚类压缩算法处理接收到的模型参数，生成聚类后的簇心值，并将所述簇心值发送至所述参数服务器，以使所述参数服务器利用同样的所述软聚类算法聚合得到更新后的簇心值；

参与联邦学习的节点设备接收所述参数服务器下发的所述更新后的簇心值，并更新各自的模型参数进行下一轮模型训练，直到满足训练停止条件。

2.根据权利要求1所述的方法，所述集群的划分条件至少包括以下一种或多种：

节点设备的地理位置、节点设备的隶属关系、节点设备的网络环境、节点设备的运算性能。

3.根据权利要求1所述的方法，所述各集群内指定节点设备利用软聚类压缩算法处理接收到的模型参数，生成聚类后的簇心值之前，还包括：

指定节点设备配置预设时间段，并将所述预设时间段内接收到的模型参数参与本次迭代。

4.根据权利要求1-3任一项所述的方法，所述各集群内指定节点设备利用软聚类压缩算法处理接收到的模型参数，生成聚类后的簇心值，包括：

利用EM算法基于如下公式更新得到簇心值：

定义：Φ(R_m)＝z，其中，C_z≤R_m，且C_z+1＞R_m；

其中，R为接收到的模型参数的向量表示，R_m为R中第m个元素，C_z为R中最大的簇心值，J为压缩前后向量R的方差，α为学习率，L为满足Φ(R_m)＝z的元素集。

5.根据权利要求1所述的方法，所述差分隐私算法采用基于教师模型全体的隐私聚合算法或者基于差分隐私树模型的算法。

6.根据权利要求1所述的方法，所述方法训练得到的全局模型应用于金融风险识别、信贷分析、医疗诊断。

7.一种基于联邦学习的模型训练系统，包括：参数服务器和N个节点设备；其中，N为大于1的整数；N个节点设备预先划分为若干集群；

集群内各节点设备基于参数服务器下发的初始参数和本地数据集进行模型训练，并将各自的模型参数利用差分隐私算法添加噪声后发送至集群内指定节点设备；

各集群内指定节点设备利用软聚类压缩算法处理接收到的模型参数，生成聚类后的簇心值，并将所述簇心值发送至所述参数服务器，以使所述参数服务器利用同样的所述软聚类算法聚合得到更新后的簇心值；

参与联邦学习的节点设备接收所述参数服务器下发的所述更新后的簇心值，并更新各自的模型参数进行下一轮模型训练，直到满足训练停止条件。

8.根据权利要求7所述的系统，所述集群的划分条件至少包括以下一种或多种：

节点设备的地理位置、节点设备的隶属关系、节点设备的网络环境、节点设备的运算性能。

9.一种电子设备，其特征在于，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-6任一项所述的方法步骤。

10.一种可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法步骤。