[发明专利]联邦学习模型的训练方法、装置、电子设备和存储介质在审
申请号: | 202111183940.5 | 申请日: | 2021-10-11 |
公开(公告)号: | CN113947211A | 公开(公告)日: | 2022-01-18 |
发明(设计)人: | 杨恺;王虎;黄志翔;彭南博 | 申请(专利权)人: | 京东科技控股股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;H04L9/00;H04L9/40 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 罗岚 |
地址: | 100176 北京市北京经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 联邦 学习 模型 训练 方法 装置 电子设备 存储 介质 | ||
1.一种联邦学习模型的训练方法,其特征在于,包括:
与数据提供方服务器进行样本对齐;
分别获取业务方服务器和所述数据提供方服务器的特征数量,并根据所述特征数量分别对所述业务方服务器和所述数据提供方服务器的特征进行编号,以生成特征编码集,以及将所述数据提供方服务器的特征编号和公钥发送至所述数据提供方服务器;
获取联邦学习模型的当前样本集和训练参数集;
根据所述当前样本集、所述训练参数集和所述特征编码集,对所述联邦学习模型进行M次迭代训练,其中,所述M为大于1的正整数;以及
获取第M次所述迭代训练得到的所述联邦学习模型的目标参数。
2.如权利要求1所述的联邦学习模型的训练方法,其特征在于,其中,所述训练参数集包括特征采样率、训练样本上限值、训练样本下限值、决策树棵数上限值、决策树棵数下限值、第一参数变化速度和第二参数变化速度。
3.如权利要求2所述的联邦学习模型的训练方法,其特征在于,其中,所述每次迭代训练,包括:
将所述M次迭代训练中当前的迭代训练作为第N次迭代训练,其中,所述N为小于所述M的正整数;
根据所述M、所述N、所述训练样本上限值、所述训练样本下限值和所述第一参数变化速度,生成样本采样率;
根据所述M、所述N、所述决策树棵数上限值、所述决策树棵数下限值和所述第二参数变化速度,生成目标棵数;
从所述当前样本集中选取所述样本采样率的样本以生成目标训练集;
从所述特征编码集中选取所述特征采样率的特征编码以生成目标特征编码集;
将所述目标训练集中每个样本的编号,以及所述目标特征编码集中所述数据提供方服务器的目标特征编号发送至所述数据提供方服务器;
根据所述目标训练集、所述目标特征编码集和所述目标棵数,生成所述联邦学习模型的目标参数;
基于梯度提升算法,并根据所述目标参数和所述联邦学习模型,生成所述当前样本的优化标签,其中,所述优化标签为下一轮迭代训练的所述当前样本的训练标签。
4.如权利要求3所述的联邦学习模型的训练方法,其特征在于,所述根据所述目标训练集、所述目标特征编码集和所述目标棵数,生成所述联邦学习模型的目标参数,包括:
计算所述目标训练集中样本的梯度信息,并将所述梯度信息发送至所述数据提供方服务器;
接收所述数据提供方服务器提供的梯度返回信息;
根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号,并基于私钥和所述目标分裂点编号生成密文,以及将所述密文发送至所述数据提供方服务器;
接收所述数据提供方服务器发送的解密运算值,并根据所述解密运算值进行节点分裂;
重复以上步骤直至模型收敛,以建立所述目标棵数的决策树,完成所述联邦学习模型的训练,并通过所述完成训练的联邦学习模型获取所述目标参数。
5.如权利要求4所述的联邦学习模型的训练方法,其特征在于,所述计算所述目标训练集中样本的梯度信息,包括:
生成所述目标训练集中样本的一阶梯度值和二阶梯度值;
对所述一阶梯度值和所述二阶梯度值进行同态加密以生成所述梯度信息。
6.如权利要求4所述的联邦学习模型的训练方法,其特征在于,所述梯度返回信息为多个,且每个所述梯度返回信息对应有相应的编号,其中,所述根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号,包括:
根据所述多个梯度返回信息和所述目标特征编码集分别生成对应的多个信息增益;
从所述多个信息增益之中选择最大信息增益,并将所述最大信息增益对应的编号作为所述目标分裂点编号。
7.如权利要求4所述的联邦学习模型的训练方法,其特征在于,所述根据所述解密运算值进行节点分裂,包括:
根据所述解密运算值生成分裂空间信息;
根据所述目标训练集中样本和所述分裂空间信息进行节点分裂。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东科技控股股份有限公司,未经京东科技控股股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111183940.5/1.html,转载请声明来源钻瓜专利网。