[发明专利]横向联邦学习建模优化方法、设备、介质及程序产品在审
申请号: | 202110859994.2 | 申请日: | 2021-07-28 |
公开(公告)号: | CN113516254A | 公开(公告)日: | 2021-10-19 |
发明(设计)人: | 何元钦 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06N20/20 | 分类号: | G06N20/20 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 薛福玲 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 横向 联邦 学习 建模 优化 方法 设备 介质 程序 产品 | ||
1.一种横向联邦学习建模优化方法,其特征在于,应用于第一设备,所述横向联邦学习建模优化方法包括:
接收第二设备下发的全局表征映射模型;
基于本地私有样本数据,在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化,得到优化后的本地表征映射模型;
将所述优化后的本地表征映射模型上传至所述第二设备,以供所述第二设备基于联邦公有训练样本数据,在各所述优化后的本地表征映射模型之间进行对比学习训练优化,以及在所述全局表征映射模型分别与各所述优化后的本地表征映射模型之间进行对比学习训练优化,得到目标全局表征映射模型;
接收所述第二设备下发的目标全局表征映射模型,并基于所述本地私有训练样本数据,在所述目标全局表征映射模型与所述本地表征映射模型之间进行对比学习训练优化,得到目标本地表征映射模型;
基于所述本地私有训练样本数据中的携带样本标签的标签样本,在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化,得到目标横向联邦预测模型。
2.如权利要求1所述横向联邦学习建模优化方法,其特征在于,所述基于本地私有样本数据,在所述全局表征映射模型与所述本地表征映射模型之间对比学习训练优化,得到优化后的本地表征映射模型的步骤包括:
在所述本地私有样本数据中提取各本地私有训练样本;
基于所述本地表征映射模型,将各所述本地私有训练样本映射为本地训练样本表征,以及基于所述全局表征映射模型,将各所述本地私有训练样本映射为全局训练样本表征;
基于各所述本地训练样本表征与各所述全局训练样本表征两两之间的相似度,计算第一全局对比学习损失;
基于所述第一全局对比学习损失,优化所述本地表征映射模型,得到所述优化后的本地表征映射模型。
3.如权利要求2所述横向联邦学习建模优化方法,其特征在于,所述本地表征映射模型包括本地特征提取模型和本地表征转换模型,所述全局表征映射模型包括全局特征提取模型和全局表征转换模型,
所述基于所述本地表征映射模型,将各所述本地私有训练样本映射为本地训练样本表征,以及基于所述全局表征映射模型,将各所述本地私有训练样本映射为全局训练样本表征的步骤包括:
基于所述本地特征提取模型,对各所述本地私有训练样本分别进行特征提取,得到各本地特征提取样本表征,以及基于所述全局特征提取模型,对各所述本地私有训练样本分别进行特征提取,得到各全局特征提取样本表征;
基于所述本地表征转换模型,分别将各所述本地特征提取样本表征映射至预设第一目标表征空间,得到各所述本地训练样本表征,以及基于所述全局表征转换模型,分别将所述全局特征提取样本表征映射至所述预设第一目标表征空间,得到各所述全局训练样本表征。
4.如权利要求1所述横向联邦学习建模优化方法,其特征在于,所述基于所述本地私有训练样本数据中的携带样本标签的标签样本,在预设模型微调条件下对具备所述目标本地表征映射模型中目标特征提取模型的样本预测模型进行基于横向联邦学习的迭代训练优化,得到目标横向联邦预测模型的步骤包括:
基于所述标签样本和所述标签样本对应的训练样本标签,在所述预设模型微调条件下对所述样本预测模型进行迭代训练优化,得到优化后的样本预测模型;
将所述优化后的样本预测模型上传至所述第二设备,以供所述第二设备对各所述第一设备发送的优化后的样本预测模型进行聚合,得到聚合样本预测模型;
接收所述第二设备下发的聚合样本预测模型,并依据所述聚合样本预测模型,在所述预设模型微调条件下对所述样本预测模型进行训练优化,得到所述目标横向联邦预测模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110859994.2/1.html,转载请声明来源钻瓜专利网。