[发明专利]一种纵向联邦学习模型的训练方法及系统

权利要求书

1.一种纵向联邦学习模型的训练方法，其特征在于，包括：

进行梯度下降的无加密机制的联邦学习迭代训练，并获取所有特征每次迭代所使用的梯度值；

根据每一特征的梯度值，获取每一特征的梯度值变化趋势；以及

重复迭代更新，直到判断出梯度值变化趋势满足预设条件的特征在特征总数的占比超过预设阈值时，进行有加密机制的联邦学习迭代训练；

其中，在开始训练时，梯度值变化趋势为梯度夹角值tan(angle)变大；所述梯度夹角值tan(angle)为：

tan(angle) =|(k_i-k_i-1)/(1+k_i×k_i-1)|

其中，k_i为第i次迭代获取的梯度值，k_i-1为第i-1次迭代获取的梯度值；

所述预设条件为所述梯度夹角值tan(angle)开始变小。

2.如权利要求1所述的方法，其特征在于，所述联邦学习迭代训练包括：

数据参与方和模型发起方各自计算每一样本特征的特征值与特征权重的内积；

对每一样本特征，将数据参与方和模型发起方的内积相加，得到总内积值，使用sigmoid函数对总内积值进行转换得到预测值；

对每一样本特征，将预测值与对应的模型发起方的真实标签做差，得到梯度中间值；以及

根据梯度中间值分别计算数据参与方和模型发起方的样本特征的梯度值，并更新样本特征的特征权重。

3.如权利要求2所述的方法，其特征在于，所述梯度值变化趋势满足预设条件的特征在特征总数的占比超过预设阈值，包括：

模型发起方和数据参与方的所有样本特征中梯度值变化趋势满足预设条件的数量在特征总数的占比超过预设阈值；其中，所述特征总数为模型发起方和数据参与方的样本特征数之和。

4.如权利要求1所述的方法，其特征在于，所述有加密机制的联邦学习迭代训练，包括：

数据参与方和模型发起方各自计算每一样本特征的特征值与特征权重的内积；

对每一样本特征，将数据参与方和模型发起方的内积相加，得到总内积值，使用sigmoid函数对总内积值进行转换得到预测值；

对每一样本特征，将预测值与对应的模型发起方的真实标签做差，得到梯度中间值；

由模型发起方，根据梯度中间值计算模型发起方的梯度值，利用模型发起方的梯度值更新样本特征的特征权重，并且，对梯度中间值进行加密得到加密梯度中间值，并发送至数据参与方；

由数据参与方，根据加密梯度中间值计算数据参与方的梯度并增加掩码，得到加密掩码梯度并发送至模型发起方；

由模型发起方，对加密掩码梯度利用私钥解密，得到掩码梯度并发送至数据参与方；以及

由数据参与方，对掩码梯度去除掩码，得到数据参与方的梯度值，并利用数据参与方的梯度值更新特征权重。

5.如权利要求4所述的方法，其特征在于，所述有加密机制的联邦学习迭代训练采用分批训练的方式；

所述根据加密梯度中间值计算数据参与方的梯度并增加掩码，得到加密掩码梯度并发送至模型发起方，包括：根据加密梯度中间值计算数据参与方的梯度后，对各对应样本特征的加密梯度值做聚合操作，并增加掩码，得到加密掩码聚合梯度并发送至模型发起方；

利用梯度值更新特征权重，包括：计算每一样本特征的梯度值均值，利用梯度值均值更新特征权重。

6.如权利要求4所述的方法，其特征在于，所述加密的方式包括半同态加密、全同态加密或mpc秘密共享。

7.如权利要求4所述的方法，其特征在于，还包括：

模型发起方基于真实标签和预测值计算模型的损失值，根据损失值判断模型是否收敛：

若收敛，则确定模型训练完成；

若不收敛，则继续迭代更新。