[发明专利]一种端边云联邦学习模型训练系统及方法有效
申请号: | 202110887349.1 | 申请日: | 2021-08-03 |
公开(公告)号: | CN113591999B | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 朱孔林;陈文韬;张琳 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F18/214 | 分类号: | G06F18/214;G06F21/62;G06N20/00 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 项京;赵元 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 端边云 联邦 学习 模型 训练 系统 方法 | ||
本申请实施例提供了一种端边云联邦学习模型训练系统及方法,应用于模型训练的技术领域,可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失,计算待训练的联邦学习模型的总训练成本最低时的模型准确率,得到目标准确率,并根据样本数据对待训练的联邦学习模型进行训练,得到满足目标准确率的联邦学习模型,从而不但可以保证联邦学习模型的准确率,还可以降低联邦学习模型的训练成本。
技术领域
本申请涉及模型训练技术领域,特别是涉及一种端边云联邦学习模型训练系统及方法。
背景技术
为了保护用户的隐私数据,目前联邦学习已经有着广泛的应用。通过联邦学习可以在本地设备中迭代训练模型,从而防止用户的隐私数据的泄露。
然而,申请人在研究过程中发现,在联邦学习的过程中,由于机器学习模型迭代以及样本数据的获取等,会消耗过多的计算和通信资源,从而产生极高的费用,而如果模型迭代的次数减少,虽然的资源费用会减少,但是训练出最终模型的准确率会下降,如何在保证模型的准确率的同时降低联邦学习的成本成为一个需要解决的问题。
发明内容
本申请实施例的目的在于提供一种端边云联邦学习模型训练系统及方法,用以解决如何在保证模型的准确率的同时降低联邦学习的成本的问题。具体技术方案如下:
本申请实施的第一方面,提供了一种端边云联邦学习模型训练系统,包括多个终端、多个边缘端;
各终端,用于向一个或多个边缘端发送样本数据;
各边缘端,用于接收一个或多个终端发送的样本数据;计算获取各样本数据的成本;根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失,计算总训练成本最低时的模型准确率,得到目标准确率;根据样本数据对待训练的联邦学习模型进行训练,直至满足目标准确率;判断训练后的联邦学习模型是否满足预设准确率,若否,则向对应终端反馈数据获取信息;
各终端,还用于接收一个或多个边缘端反馈数据获取信息;根据数据获取信息向一个或多个边缘端发送当前的数据;
各边缘端,还用于接收一个或多个终端发送的当前的数据;计算获取当前的数据的成本;根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率,根据计算结果更新目标准确率,并对联邦学习模型进行训练,直至满足更新后的目标准确率;判断训练后的联邦学习模型是否满足预设准确率,若否,则向对应终端反馈数据获取信息,以使终端向各边缘端发送当前的数据,并根据当前的数据进行训练,若是,则得到训练好的联邦学习模型。
可选的,上述系统还包括云端,
各边缘端,具体用于通过样本数据和当前的数据对联邦学习模型进行训练,得到满足目标准确率的第一终端网络模型;将第一终端网络模型的参数发送至云端;
云端,用于对各边缘端发送的第一终端网络模型的参数进行整合,得到第一整合参数;将第一整合参数反馈至各边缘端;
各边缘端,具体用于接收并根据第一整合参数对第一终端网络模型的参数进行更新;通过样本数据和当前的数据对更新后的联邦学习模型进行训练,得到第二终端网络模型;将第二终端网络模型的参数发送至云端,以使云端对各边缘端发送的第二终端网络模型的参数进行整合,得到并将第二整合参数反馈至各边缘端;利用第二整合参数对第二终端网络模型的参数进行更新,返回通过样本数据对更新后的终端网络模型进行训练,得到第二终端网络模型的步骤继续执行,直至得到满足目标准确率的联邦学习模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110887349.1/2.html,转载请声明来源钻瓜专利网。