[发明专利]联邦模型退化处理方法、装置、联邦训练系统及存储介质有效
申请号: | 201910563383.6 | 申请日: | 2019-06-26 |
公开(公告)号: | CN110334544B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 黄安埠 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F21/62 | 分类号: | G06F21/62;G06F18/214 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 联邦 模型 退化 处理 方法 装置 训练 系统 存储 介质 | ||
本发明公开了一种联邦模型退化处理方法,包括:获取所述联邦训练系统的协作端聚合后得到的第一全局模型;通过预设测试数据对所述第一全局模型进行测试,得到所述第一全局模型的模型测试结果;根据所述模型测试结果检测所述第一全局模型是否出现退化,若检测到所述第一全局模型出现退化,则获取第二轮联邦迭代训练的第二全局模型;将所述第二全局模型发送至第二轮联邦迭代训练的目标客户端,以供所述目标客户端根据所述第二全局模型进行第二轮的联邦迭代训练。本发明还公开了一种联邦模型退化处理装置、联邦训练系统以及存储介质。本发明解决了联邦模型出现退化的技术问题。
技术领域
本发明涉及人工智能技术领域,尤其涉及金融科技(Fintech)技术领域,具体涉及一种联邦模型退化处理方法、装置、联邦训练系统及存储介质。
背景技术
随着金融科技(Fintech),尤其是互联网科技金融的不断发展,越来越多的技术应用在金融领域。联邦模型是利用技术算法加密建造的机器学习模型,联邦学习系统中的多个联邦客户端在模型训练时不用给出己方数据,而是根据协作端下发的参数加密的全局模型和客户端本地的数据集来训练本地模型,并返回本地模型参数供协作端聚合更新全局模型,更新后的全局模型重新下发到客户端,循环往复,直到收敛。联邦学习通过加密机制下参数交换的方式保护客户端数据隐私,客户端数据和客户端的本地模型本身不会进行传输,本地数据不会被反猜,联邦模型在较高程度保持数据完整性的同时,保障了数据隐私。
但在迭代训练过程中,由于受到新数据的影响,如新数据带有噪音、新数据的标注错误等,会造成全局模型的训练出现退化。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种联邦模型退化处理方法,旨在解决联邦训练系统的迭代训练过程中,由于受新数据影响导致全局模型出现退化的技术问题。
为实现上述目的,本发明提供一种联邦模型退化处理方法,所述联邦模型退化处理方法包括:
获取所述联邦训练系统的协作端聚合后得到的第一全局模型;
通过预设测试数据对所述第一全局模型进行测试,得到所述第一全局模型的模型测试结果;
根据所述模型测试结果检测所述第一全局模型是否出现退化,若检测到所述第一全局模型出现退化,则获取第二轮联邦迭代训练的第二全局模型;
将所述第二全局模型发送至第二轮联邦迭代训练的目标客户端,以供所述目标客户端根据所述第二全局模型进行第二轮的联邦迭代训练。
进一步地,根据所述模型测试结果检测所述第一全局模型是否出现退化的步骤包括:
检测所述模型测试结果是否小于第一预设阈值;
若检测到所述模型测试结果小于第一预设阈值,则确定所述第一全局模型出现退化;
所述若检测到所述第一全局模型出现退化,则获取第二轮联邦迭代训练的第二全局模型的步骤包括:
若检测到所述第一全局模型出现退化,则从预存对象的历史模型测试结果中,获取最优的目标模型测试结果;
从预存对象的历史全局模型中,获取与所述目标模型测试结果存在映射关系的历史全局模型,以作为第二全局模型。
进一步地,检测所述模型测试结果是否小于第一预设阈值的步骤之后还包括:
若检测到所述模型测试结果大于或等于第一预设阈值;
则获取所述第一全局模型,以作为第二轮联邦迭代训练的第二全局模型。
进一步地,将所述第二全局模型发送至第二轮联邦迭代训练的目标客户端的步骤包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910563383.6/2.html,转载请声明来源钻瓜专利网。