[发明专利]模型训练方法、装置、设备和介质

说明书

本发明实施例公开了一种模型训练方法、装置、设备和介质。该方法包括：将第二方拥有的特征数据表示中取值为固定数值的元素，作为特征数据表示中的目标特征元素；基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；向第一方发送第二方预测结果；根据从第一方获取的残差密文、固定数值密文，以及特征数据表示中的目标特征元素和其他特征元素，确定第二方梯度密文；向第一方发送第二方梯度密文，供第一方对第二方梯度密文进行同态解密得到第二方梯度原文；根据从第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。本发明实施例实现了减少密文与明文的相乘次数，大幅度降低计算量，提高模型训练效率的效果。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备和介质。

背景技术

人工智能领域的核心是算法、算力和数据。然而，除了少数行业，大多数行业只有有限的数据或质量较差的数据，使得人工智能技术的实现比我们想象的更加困难。

一个热门的研究方向是联邦学习，联邦学习用于建立基于分布在多个设备上的数据集的机器学习模型，在模型训练过程中须防止数据泄漏。联邦学习的最大特点是数据不出本地，通过传递不可反解的参数完成模型训练，在数据价值共享的同时，防止数据泄漏。

然而，目前基于联邦学习训练分类模型过程中，第二方可能存在数值为0的特征数据，而在计算模型训练参数时，这些数值为0的特征数据也会参加计算，由于密文与明文相乘是个非常耗时的操作，因此加大了计算量，降低了模型训练效率。

发明内容

本发明实施例提供一种模型训练方法、装置、设备和介质，以解决联邦学习过程中模型训练效率低的问题。

第一方面，本发明实施例提供了一种模型训练方法，由第二方执行，所述方法包括：

将第二方拥有的特征数据表示中取值为固定数值的元素，作为特征数据表示中的目标特征元素；

基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；

向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；

根据从所述第一方获取的残差密文、固定数值密文，以及特征数据表示中的目标特征元素和其他特征元素，确定第二方梯度密文；

向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；

根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。

第二方面，本发明实施例提供了一种模型训练方法，由第一方执行，所述方法包括：

根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

对所述残差原文进行同态加密，得到残差密文；

向所述第二方发送所述残差密文和固定数值密文，供所述第二方根据所述残差密文、所述固定数值密文和第二方拥有的特征数据，确定第二方梯度密文；

对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；

向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

第三方面，本发明实施例提供了一种模型训练装置，配置于第二方，所述装置包括：

目标特征元素确定模块，用于将第二方拥有的特征数据表示中取值为固定数值的元素，作为特征数据表示中的目标特征元素；