[发明专利]联邦模型训练方法、系统、设备及计算机可读存储介质在审
申请号: | 201910121269.8 | 申请日: | 2019-02-18 |
公开(公告)号: | CN109871702A | 公开(公告)日: | 2019-06-11 |
发明(设计)人: | 黄安埠;刘洋;陈天健;杨强 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F21/60 | 分类号: | G06F21/60;G06K9/62 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国;魏兰 |
地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 全局模型 模型参数 联邦模型 客户终端 权重系数 计算机可读存储介质 协作终端 参数加密 收敛状态 最终结果 检测 预设 聚合 收敛 发送 预测 更新 | ||
1.一种联邦模型训练方法,其特征在于,所述联邦模型训练方法包括以下步骤:
当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的获取规则,获取每个模型参数对应的权重系数;其中,所述模型参数是客户终端根据协作终端下发的参数加密的第一全局模型进行联邦模型训练得到的,所述权重系数是基于所述模型参数对应的预测模型的预测准确性确定的;
根据多个模型参数及每个模型参数对应的权重系数,聚合得到第二全局模型;
检测所述第二全局模型是否收敛;
若检测到所述第二全局模型处于收敛状态,则将所述第二全局模型确定为联邦模型训练的最终结果,并下发参数加密的第二全局模型至所述多个客户终端。
2.如权利要求1所述的联邦模型训练方法,其特征在于,所述当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的获取规则,获取每个模型参数对应的权重系数的步骤包括:
当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的测试样本集,测试并得到每个模型参数对应的预测模型的预测误差率;
基于每个预测模型的所述预测误差率及预设的计算公式,分别计算得到每个模型参数对应的权重系数。
3.如权利要求2所述的联邦模型训练方法,其特征在于,所述当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的测试样本集,测试并得到每个模型参数对应的预测模型的预测误差率的步骤包括:
当协作终端接收到多个客户终端分别发送的模型参数后,将预设的测试样本集中的多个测试样本输入至所述模型参数对应的预测模型中进行预测,得到所述预测模型针对每个所述测试样本的预测值;
根据多个所述预测值,获取所述测试样本集中预测结果错误的测试样本的数量;
将所述预测结果错误的测试样本的数量与所述测试样本集中全部测试样本数量的比值确定为所述预预测模型的预测误差率。
4.如权利要求1所述的联邦模型训练方法,其特征在于,所述根据多个模型参数及每个模型参数对应的权重系数,聚合得到第二全局模型的步骤包括:
分别将每个模型参数与其对应的权重系数相乘,得到多个相乘后的结果;
将所述多个相乘后的结果相加,并将相加结果确定为第二全局模型的模型参数,得到所述第二全局模型。
5.如权利要求1-4中任一项所述的联邦模型训练方法,其特征在于,所述当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的获取规则,获取每个模型参数对应的权重系数的步骤之前还包括:
发送参数加密的第一全局模型分别至多个客户终端;
接收所述多个客户终端分别发送的模型参数;
其中,所述客户终端在接收到协作终端下发的所述第一全局模型后,所述客户终端根据所述第一全局模型对第一训练样本集进行预测以得到预测值,并根据所述预测值对所述第一训练样本集进行采样得到第二训练样本集,所述客户终端基于所述第二训练样本集训练所述第一全局模型,训练后得到所述模型参数。
6.如权利要求1所述的联邦模型训练方法,其特征在于,所述检测所述第二全局模型是否收敛的步骤之后还包括:
若检测到所述第二全局模型处于未收敛状态,则下发参数加密的第二全局模型分别至多个客户终端,以使所述多个客户终端分别根据协作终端下发的所述第二全局模型继续迭代训练以返回模型参数至所述协作终端。
7.如权利要求1所述的联邦模型训练方法,其特征在于,所述当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的获取规则,获取每个模型参数对应的权重系数的步骤之前还包括:
接收多个客户终端分别发送的模型参数;
所述当协作终端接收到多个客户终端分别发送的模型参数后,根据预设的获取规则,获取每个模型参数对应的权重系数的步骤包括:
接收所述多个客户终端分别发送的与所述模型参数对应的权重系数;其中,所述多个客户终端分别根据预设的测试样本集,测试并得到所述模型参数对应的预测模型的预测误差率,并根据所述预测误差率及预设的计算公式,计算得到所述模型参数对应的权重系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910121269.8/1.html,转载请声明来源钻瓜专利网。