[发明专利]模型训练方法、装置及模型训练系统

权利要求书

1.一种模型训练方法，其特征在于，应用于第一节点，所述第一节点为联邦学习系统中的任一节点，所述方法包括：

接收至少一第二节点发送的训练信息；其中，每一第二节点的训练信息包括：该第二节点最新的模型参数，所述至少一第二节点为：所述联邦学习系统中除所述第一节点外的其他节点；

利用所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数；

利用所述融合后的模型参数，更新所述机器学习模型的模型参数，得到包含融合后模型参数的机器学习模型；

基于所述第一节点的数据集，对所得到的机器学习模型进行训练，并返回执行所述接收至少一第二节点发送的训练信息的步骤。

2.根据权利要求1所述的方法，其特征在于，所述利用所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：

确定待利用的参数融合模式；

按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数。

3.根据权利要求2所述的方法，其特征在于，所述按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：

若待利用的参数融合模式为全等同融合模式，则计算所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数的均值，作为融合后的模型参数。

4.根据权利要求2所述的方法，其特征在于，所述按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：

若待利用的参数融合模式为节点控制模式，则确定所述联邦学习系统中每一节点针对所述第一节点的融合权重；

基于各节点的融合权重，计算所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数的加权值的平均值，作为融合后的模型参数。

5.根据权利要求4所述的方法，其特征在于，所述确定所述联邦学习系统中每一节点针对所述第一节点的融合权重，包括：

获取所述第一节点的最近历史权重；每一节点的最近历史权重包括：在该节点进行参数融合时，所述联邦学习系统中各节点针对该节点的融合权重；

针对每一第二节点，确定该第二节点的模型参数，对所述第一节点内机器学习模型的训练贡献度，作为该第二节点的训练贡献度；

基于各第二节点的训练贡献度，对所述第一节点的最近历史权重中，每一节点针对所述第一节点的融合权重进行更新。

6.根据权利要求5所述的方法，其特征在于，每一第二节点的训练信息还包括：在该第二节点进行参数融合时，所述第一节点针对该第二节点的融合权重；

所述基于各第二节点的训练贡献度，对所述第一节点的最近历史权重中，每一节点针对所述第一节点的融合权重进行更新，包括：

基于各第二节点的模型参数的训练贡献度、所述第一节点针对各第二节点的融合权重，对所述第一节点的最近历史权重中，各节点针对所述第一节点的融合权重进行更新。

7.根据权利要求5所述的方法，其特征在于，所述针对每一第二节点，确定该第二节点的模型参数，对所述第一节点内机器学习模型的训练贡献度，包括：

计算所述机器学习模型的模型参数与各第二节点的模型参数的均值，得到第一参数；并测试在模型参数为所述第一参数时，所述机器学习模型的准确率，作为第一准确率；

针对每一第二节点，计算所述机器学习模型的模型参数与各第三节点的模型参数的均值，得到第二参数；并测试在模型参数为所述第二参数时，所述机器学习模型的准确率，作为该第二节点对应的第二准确率；其中，所述第三节点为：各第二节点中，除该第二节点之外的节点；

针对每一第二节点，计算所述第一准确率与该第二节点对应的第二准确率的差值，作为该第二节点的模型参数，对所述机器学习模型的训练贡献度。