[发明专利]机器学习模型的训练方法、装置、系统、设备及存储介质

说明书

本申请提供了一种机器学习模型的训练方法、装置、系统、电子设备及计算机可读存储介质；方法包括：服务方设备将机器学习模型发送给多个训练参与方设备，以使多个训练参与方设备基于各自所存储的训练样本独立训练机器学习模型；其中，训练参与方设备训练机器学习模型所使用的第一损失函数用于：均衡多个训练参与方设备训练后的所述机器学习模型的参数的分布；接收多个训练参与方设备分别返回的训练结果；对多个训练参与方设备分别返回的训练结果进行聚合处理，得到全局机器学习模型；根据服务方设备存储的训练样本训练全局机器学习模型。通过本申请，能够在实现训练机器学习模型的资源集约利用的基础上，实现分布式学习的预测稳定性。

技术领域

本申请涉及人工智能技术，尤其涉及一种机器学习模型的训练方法、装置、系统、电子设备及计算机可读存储介质。

背景技术

人工智能(Artificial Intelligence，AI)涉及领域广泛，并发挥越来越重要的价值。机器学习作为人工智能的技术子集，在多个应用领域取得了突破性成果，尤其是在金融领域，能够基于有限的用户数据来预测用户信用，从而为相关业务的开展提供重要依据，以规避金融风险。

相关技术提供了分布式学习方案，以解决单个设备难以满足训练大规模机器学习模型的存储空间和运算能力的需求的问题，从而实现资源的集约利用，特别地，联邦学习作为分布式学习的技术子集，还能够进一步提供数据的隐私保护功能。

然而，申请人在实施本申请实施例的过程中发现，参与分布式学习的各方设备出于节约资源和数据安全的需求，各自基于持有的训练数据训练机器学习模型，由于训练数据的分布的差异性，导致出现机器学习模型对不同参与方数据的预测结果悬殊的情况，即机器学习模型的预测稳定性无法满足实用需求，从而，导致分布式学习的设备的资源节约需求与机器学习模型的预测稳定性之间出现矛盾。

发明内容

本申请实施例提供一种机器学习模型的训练方法、装置、系统、电子设备及计算机可读存储介质，能够在实现训练机器学习模型的资源集约利用的基础上，实现多方训练机器学习模型的预测结果的一致性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种机器学习模型的训练方法，包括：

服务方设备将机器学习模型发送给多个训练参与方设备，以使所述多个训练参与方设备基于各自所存储的训练样本独立训练所述机器学习模型；

其中，所述训练参与方设备训练所述机器学习模型所使用的第一损失函数用于：均衡所述多个训练参与方设备训练后的所述机器学习模型的参数的分布；

接收所述多个训练参与方设备分别返回的训练结果；

对所述多个训练参与方设备分别返回的训练结果进行聚合处理，得到全局机器学习模型的参数；

根据所述服务方设备存储的训练样本训练所述全局机器学习模型。

在上述方案中，所述服务方设备存储的训练样本的数量大于任一所述训练参与方设备存储的训练样本的数量，或者所述服务方设备的计算能力大于任一所述训练参与方设备的计算能力。

在上述方案中，所述当所述全局机器学习模型满足收敛条件时，所述方法还包括：将满足所述收敛条件的所述全局机器学习模型发送给至少一个所述训练参与方设备。

在上述方案中，所述将机器学习模型发送给多个训练参与方设备之前，所述方法还包括：对所述机器学习模型进行加密，以使所述训练参与方设备在训练之前对加密的所述机器学习模型进行解密。

在上述方案中，所述训练参与方设备发送的所述训练结果是加密的；所述对所述多个训练参与方设备分别发送的训练结果进行聚合处理之前，所述方法还包括：对接收到的加密的所述训练结果进行解密。

本申请实施例提供一种机器学习模型的训练方法，包括：