[发明专利]模型训练方法、装置、设备和介质

说明书

本发明实施例公开了一种模型训练方法、装置、设备和介质。该方法包括：基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；向第一方发送第二方预测结果；根据从第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；为第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；向第一方发送第二方扰动梯度密文，供第一方对第二方扰动梯度密文进行同态解密得到第二方扰动梯度；根据从第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。本发明实施例通过为第二方梯度密文添加扰动数据得到第二方扰动梯度密文，提高了特征数据求解方程的未知数数量，使得特征数据无法求解，避免第二方特征数据泄露。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备和介质。

背景技术

人工智能领域的核心是算法、算力和数据。然而，除了少数行业，大多数行业只有有限的数据或质量较差的数据，使得人工智能技术的实现比我们想象的更加困难。

一个热门的研究方向是联邦学习，联邦学习用于建立基于分布在多个设备上的数据集的机器学习模型，在模型训练过程中须防止数据泄漏。联邦学习的最大特点是数据不出本地，通过传递不可反解的参数完成模型训练，在数据价值共享的同时，防止数据泄漏。

然而，目前基于联邦学习训练分类模型过程中，第一方可能根据传递的模型参数例如残差原文和梯度密文等，构建第二方特征数据的求解方程，并通过迭代增加方程数量。当方程数量大于未知数数量时，即可解出第二方的特征数据，造成第二方的特征数据泄露。

发明内容

本发明实施例提供一种模型训练方法、装置、设备和介质，以解决联邦学习过程中特征数据泄露的问题。

第一方面，本发明实施例提供了一种模型训练方法，由第二方执行，所述方法包括：

基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；

向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；

根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；

为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；

向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；

根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。

第二方面，本发明实施例提供了一种模型训练方法，由第一方执行，所述方法包括：

根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

对所述残差原文进行同态加密，得到残差密文；

向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；

对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；

向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。

第三方面，本发明实施例提供了一种模型训练装置，配置于第二方，所述装置包括：

第二方预测结果确定模块，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；