[发明专利]模型训练方法、装置、设备和介质

说明书

本发明实施例公开了一种模型训练方法、装置、设备和介质。该方法包括：根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，第二方预测结果由第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；对残差原文进行同态加密，得到残差密文；向第二方发送残差密文，供第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；对从第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；向第二方发送第二方梯度原文，供第二方根据第二方梯度原文继续对第二方的网络模型进行训练。本发明实施例实现了第二方无法基于残差原文反解第一方拥有的标签数据，提高了数据的安全性。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备和介质。

背景技术

人工智能领域的核心是算法、算力和数据。然而，除了少数行业，大多数行业只有有限的数据或质量较差的数据，使得人工智能技术的实现比我们想象的更加困难。

一个热门的研究方向是联邦学习，联邦学习用于建立基于分布在多个设备上的数据集的机器学习模型，在模型训练过程中须防止数据泄漏。联邦学习的最大特点是数据不出本地，通过传递不可反解的参数完成模型训练，在数据价值共享的同时，防止数据泄漏。

然而，目前基于联邦学习训练分类模型过程中，第二方可能根据传递的模型参数例如残差，反解得到第一方中的标签数据，造成标签数据泄露。

发明内容

本发明实施例提供一种模型训练方法、装置、设备和介质，以解决联邦学习过程中标签数据泄露的问题。

第一方面，本发明实施例提供了一种模型训练方法，由第一方执行，所述方法包括：

根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

对所述残差原文进行同态加密，得到残差密文；

向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；

对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；

向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

第二方面，本发明实施例提供了一种模型训练方法，由第二方执行，所述方法包括：

基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；

向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；

根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；

向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；

根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。

第三方面，本发明实施例提供了一种模型训练装置，配置于第一方，所述装置包括：

残差原文确定模块，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

残差密文获取模块，用于对所述残差原文进行同态加密，得到残差密文；

残差密文发送模块，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；