[发明专利]一种保护多方数据隐私的XGBoost预测模型训练方法

说明书

本发明涉及一种保护多方数据隐私的XGBoost预测模型训练方法，包括多个参与方与一个协调方，拥有标签的参与方首先利用当前模型预测结果与标签值计算一阶、二阶梯度向量与指示向量，剩余参与方通过秘密共享与协调方协助，共同计算构建一棵基于XGBoost算法的联合决策树模型，参与方共同协作，确定待训练数据在联合决策树模型中进行预测的结果，最后所有参与方与协调方一起迭代完成多棵联合决策树模型的构建，获得完整的多方预测模型。与现有技术相比，本发明具有在保护数据隐私的前提下进行跨数据源多方XGBoost集成模型训练、在保障数据安全的同时提升模型的预测能力等优点。

技术领域

本发明涉及机器学习技术领域，尤其是涉及一种保护多方数据隐私的XGBoost预测模型训练方法。

背景技术

XGBoost算法是一种集成学习算法，拥有构建快速、预测准确的特点，其设计目的是为了解决数据特征处于同一机器的机器学习问题，但是XGBoost算法本身存在不足，对于多方分别持有同一批数据样本不同特征，一方持有标签信息且无法传递给其他方的情况无法处理。

为了保护各方数据隐私，机器学习领域会采用纵向联邦学习的训练方案，以达到接近或等同于数据处于同一机器情况下的机器学习模型精度。当前的纵向联邦学习算法多以两方为主，但是纵向联邦学习方法对可协作的机构数量做出了严格限定，无法轻易拓展至其他任意多方，并且为了顺利进行多方协作，对机器学习的模型做出了简化或近似，造成计算结果精度的损失。

发明内容

本发明的目的就是为了克服上述现有技术存在的数据之间交互存在障碍、协作过程中数据精度丢失的缺陷而提供一种保护多方数据隐私的XGBoost预测模型训练方法。

本发明的目的可以通过以下技术方案来实现：

一种保护多方数据隐私的XGBoost预测模型训练方法，包括多个参与方与一个协调方，拥有标签的参与方首先利用当前模型预测结果与标签值计算一阶、二阶梯度向量与指示向量，剩余参与方通过秘密共享与协调方协助，共同计算构建一棵基于XGBoost算法的联合决策树模型，所述参与方共同协作，确定待训练数据在联合决策树模型中进行预测的结果，最后所有参与方与协调方一起迭代完成多棵联合决策树模型的构建，获得完整的多方预测模型。

训练所述联合决策树模型的具体步骤如下：

S1、第一参与方设定构建树的初始数量t＝1、初始深度d＝1、正则化参数λ与最大深度d_max，对于总共N个参与方，利用秘密共享拆分产生{λ}ⁱ，将所有设定的参数分发至所有参与方i，为每个拥有num_i个特征的参与方i产生随机不重复的num_i个特征编号索引，由持有标签的第一参与方利用当前模型预测结果向量和样本标签向量y计算得到一阶梯度向量G和二阶梯度向量H，并产生初始的全1指示向量S，分别进行秘密共享拆分，对于总共N个参与方，拆分为N份一阶梯度向量分片{G}ⁱ、二阶梯度向量分片{H}ⁱ和指示向量分片{S}ⁱ，并分别分发至所有参与方i，i＝1，…N；