[发明专利]机器学习模型的训练方法、装置、系统、设备及存储介质

权利要求书

1.一种机器学习模型的训练方法，其特征在于，包括：

服务方设备将机器学习模型发送给多个训练参与方设备，以使所述多个训练参与方设备基于各自所存储的训练样本独立训练所述机器学习模型；

其中，所述训练参与方设备训练所述机器学习模型所使用的第一损失函数用于：均衡所述多个训练参与方设备训练后的所述机器学习模型的参数的分布；

接收所述多个训练参与方设备分别返回的训练结果；

对所述多个训练参与方设备分别返回的训练结果进行聚合处理，得到全局机器学习模型的参数；

根据服务方设备存储的训练样本训练所述全局机器学习模型。

2.根据权利要求1所述的方法，其特征在于，当所述服务方设备将机器学习模型发送给多个训练参与方设备时，所述方法还包括：

所述服务方设备优化所述训练方设备训练所述机器学习模型时所使用的原始损失函数，以得到所述第一损失函数；

向所述多个训练参与方设备发送所述第一损失函数，以使

多个所述训练参与方设备在所述机器学习模型的训练过程中，将基于所述第一损失函数均衡所述机器学习模型的参数的分布作为训练目标，以得到所述机器学习模型的训练结果。

3.根据权利要求2所述的方法，其特征在于，

所述原始损失函数用于最小化第一差异因子，所述第一差异因子用于表征：所述机器学习模型针对所述训练样本的预测结果与所述训练样本的标注数据之间的差异；

所述服务方设备优化所述训练方设备训练所述机器学习模型时所使用的原始损失函数，以得到所述第一损失函数，包括：

确定第二差异因子，所述第二差异因子用于表征：所述机器学习模型的参数与所述全局机器学习模型的参数之间的差异；

通过对所述第一差异因子和所述第二差异因子进行加权求和，得到用于最小化加权求和结果的所述第一损失函数。

4.根据权利要求3所述的方法，其特征在于，所述第一损失函数用于供每个所述训练参与方设备执行以下处理：

所述训练参与方设备将各自所存储的训练样本输入到所述机器学习模型，以获取所述机器学习模型针对所存储的训练样本的预测结果；

将所述预测结果、所存储的训练样本的标注数据、所述机器学习模型的参数以及所述全局机器学习模型的参数输入到所述第一损失函数，以获取误差信息；

根据所述误差信息更新所述机器学习模型的参数；

当所述第一损失函数收敛时，确定多个所述训练参与方设备各自训练的机器学习模型的参数形成均衡的分布，并将所述机器学习模型的更新梯度作为所述训练结果。

5.根据权利要求1所述的方法，其特征在于，

当所述训练结果包括所述机器学习模型的更新梯度时，所述对所述多个训练参与方设备分别发送的训练结果进行聚合处理，得到全局机器学习模型，包括：

确定每个所述训练参与方设备的权重；

根据每个所述训练参与方设备的权重，对每个所述训练方设备发送的更新梯度进行加权平均处理，以得到聚合梯度；

根据所述聚合梯度更新所述机器学习模型的参数。

6.根据权利要求5所述的方法，其特征在于，所述确定每个所述训练参与方设备的权重，包括：

将每个所述训练方设备存储的训练样本的数量与总数量之间的比值，确定为相应训练方设备的权重，其中，所述总数量为每个所述训练方设备存储的训练样本的数量的加和；或者，

将每个所述训练方设备的计算能力与总计算能力之间的比值，确定为相应训练方设备的权重，其中，所述总计算能力为每个所述训练方设备的计算能力的加和。

7.根据权利要求1所述的方法，其特征在于，

所述服务方设备训练所述全局机器学习模型时使用第二损失函数，所述第二损失函数用于最小化第二差异因子，所述第二差异因子表征：

所述全局机器学习模型针对所述服务方设备存储的训练样本的预测结果与对应的标注数据之间的差异。