[发明专利]一种纵向联邦学习的模型训练方法及系统

说明书

本申请提供一种纵向联邦学习的模型训练方法及系统，在多个参与方的联邦学习过程中，根据数据参与方和模型发起方的内积以及模型发起方的真实标签，得到梯度中间值，模型发起方对梯度中间值混淆第一随机数，数据参与方对混淆了第一随机数的梯度中间值计算数据参与方的梯度并混淆第二随机数，之后依次由模型发起方去除第一随机数、数据参与方去除第二随机数，使得模型发起方和数据参与方都有各自的梯度值，可以对各自特征权重进行更新，由于采用随机数混淆的方式实现数据参与方和模型发起方对梯度信息的加密通信，不受计算次数的限制，不存在精度丢失的问题，能够支持更复杂的联邦学习模型学习需求，并且降低了加密的耗时，提供了处理的效率。

技术领域

本申请涉及联邦学习技术领域，具体而言，涉及一种纵向联邦学习的模型训练方法及系统。

背景技术

联邦学习作为一种数据安全计算的技术，在企业中逐步得到应用，其能够实现在原始数据不出门的前提下，让数据价值在各个机构之间进行流动，创造业务价值，比如应用在金融风控、广告推荐等领域。联邦学习是一种分布式计算架构，支持多方安全计算，根据不同的业务使用场景，主要包括纵向联邦学习、横向联邦学习以及联邦迁移算法三种类型。目前联邦学习已经可以支持多种机器学习算法。

诸如逻辑回归算法（logistic regression）是一种经典的机器学习模型，适用于分类问题。因为其具有简单、快速、可解释强等特性，被广泛应用于金融风控等领域。企业实际业务一般要求在纵向联邦学习的场景下完成逻辑回归模型的训练和使用，比如银行与运营商之间联合建模评分卡场景。

然而在纵向联邦学习场景中，已有的基于梯度下降优化算法的机器学习算法往往依赖一个可信赖的协调方，特别是针对逻辑回归算法。该协调方作为一种第三方角色，是独立于数据参与方的，对数据参与方与模型发起方之间进行相关中间结果处理以及通信。然而在现实场景中，特别是银行、运营商等对数据安全极其严格的机构，是不能接收这种依赖可信第三方的算法，因为难以找到被各个参与方认可的对象机构承担该协调者角色。因此，现有技术通常采用半同态加密技术，学习过程中需要涉及半同态加密、模型发起方与数据参与方之间的公钥通信和半同态解密等步骤，在大数据量下耗时较高，运算速度较慢。

发明内容

本申请实施例的目的在于提供一种纵向联邦学习的模型训练方法及系统，用以解决现有技术的学习过程中需要涉及半同态加密、模型发起方与数据参与方之间的公钥通信和半同态解密等步骤，在大数据量下耗时较高，运算速度较慢的问题。

本申请实施例提供的一种纵向联邦学习的模型训练方法，包括：

由数据参与方和模型发起方各自计算每一样本特征的特征值与特征权重的内积；

对每一样本特征，根据数据参与方和模型发起方的内积以及模型发起方的真实标签，得到梯度中间值；

由模型发起方，根据梯度中间值计算模型发起方的梯度值，生成第一随机数，对梯度中间值混淆第一随机数，并发送至数据参与方；

由数据参与方，生成第二随机数，根据混淆了第一随机数的梯度中间值计算数据参与方的梯度并混淆第二随机数，得到混淆了第一随机数和第二随机数的梯度并将其发送至模型发起方；

由模型发起方，对混淆了第一随机数和第二随机数的梯度去除第一随机数，得到混淆了第二随机数的梯度并发送至数据参与方；以及

由数据参与方，对混淆了第二随机数的梯度去除第二随机数，得到数据参与方的梯度值，并利用数据参与方的梯度值更新特征权重。