[发明专利]模型参数更新方法、装置、设备、存储介质及程序产品在审
申请号: | 202110287041.3 | 申请日: | 2021-03-17 |
公开(公告)号: | CN113011603A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 梁新乐;刘洋;陈天健 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06N20/20 | 分类号: | G06N20/20;G06N3/04;G06N3/08 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 张志江 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 参数 更新 方法 装置 设备 存储 介质 程序 产品 | ||
1.一种模型参数更新方法,其特征在于,所述方法应用于参与纵向联邦学习的第一设备,所述第一设备与参与纵向联邦学习的第二设备通信连接,所述方法包括以下步骤:
计算近端优化损失,其中,所述近端优化损失表征所述第一设备中第一模型的参数在本轮本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量;
基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果,计算得到所述参数对应的梯度值;
采用所述梯度值更新所述参数,以完成本轮本地迭代。
2.如权利要求1所述的模型参数更新方法,其特征在于,所述计算近端优化损失,其中,所述近端优化损失表征所述第一设备中第一模型的参数在本轮本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量的步骤包括:
将所述第一设备中第一模型的参数在本轮本地迭代中的参数向量与在预设历史轮次的本地迭代中的参数向量进行对应元素相减,得到差向量;
计算所述差向量中各元素的平方和,基于所述平方和得到所述近端优化损失。
3.如权利要求1至2任一项所述的模型参数更新方法,其特征在于,当所述第一设备为拥有标签数据的参与方时,所述纵向联邦中间结果为所述第二设备中模型的输出,
所述基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果,计算得到所述参数对应的梯度值的步骤包括:
将所述第一设备的训练数据输入所述第一设备中的第一模型进行处理,得到所述第一模型在本轮本地迭代中的模型输出;
根据所述模型输出和所述纵向联邦中间结果计算得到预测结果,并基于所述预测结果和所述训练数据对应的标签数据计算得到预测损失;
将所述预测损失和所述近端优化损失相加得到总损失,基于所述总损失计算得到所述参数对应的梯度值。
4.如权利要求1至2任一项所述的模型参数更新方法,其特征在于,当所述第二设备为拥有标签数据的参与方时,所述纵向联邦中间结果为所述第二设备中预测损失相对于所述第一设备在本轮联合参数更新时发送的第一模型的输出的梯度值,
所述基于所述近端优化损失、所述模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果,计算得到所述参数对应的梯度值的步骤包括:
将所述第一设备的训练数据输入所述第一设备的第一模型进行处理,得到所述第一模型在本轮本地迭代中的模型输出;
根据所述模型输出和所述纵向联邦中间结果计算得到所述预测损失相对于所述参数的第一子梯度值;
计算所述近端优化损失相对于所述参数的第二子梯度值,将所述第一子梯度值和所述第二子梯度值相加得到所述参数对应的梯度值。
5.如权利要求4所述的模型参数更新方法,其特征在于,所述将所述第一子梯度值和所述第二子梯度值相加得到所述参数对应的梯度值的步骤包括:
将所述第二子梯度值乘以预设调节系数后加上所述第一子梯度值得到所述参数对应的梯度值。
6.一种用户风险预测方法,其特征在于,所述方法应用于参与纵向联邦学习的第一设备,所述第一设备与参与纵向联邦学习的第二设备通信连接,所述方法包括以下步骤:
基于近端优化损失与所述第二设备联合进行纵向联邦学习得到本端风险预测模型,其中,所述近端优化损失表征本端待训练模型的参数在当次本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量;
采用所述本端风险预测模型预测得到待预测用户的风险值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110287041.3/1.html,转载请声明来源钻瓜专利网。