[发明专利]一种移动设备联邦学习方法及系统在审
申请号: | 202210218303.5 | 申请日: | 2022-03-08 |
公开(公告)号: | CN114358286A | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 李志杰 | 申请(专利权)人: | 浙江中科华知科技股份有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/00;G06K9/62;G06F8/65;H04L67/01 |
代理公司: | 杭州华知专利事务所(普通合伙) 33235 | 代理人: | 张德宝 |
地址: | 311121 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 移动 设备 联邦 学习方法 系统 | ||
本发明公开了一种移动设备联邦学习方法及系统,所述系统包括:FL服务器、中介和客户端;所述方法包括:移动设备加入联邦学习训练任务;FL服务器初始化全局模型,并收集参与者的本地数据分布;通过数据增强和重新调度的方式重新平衡联邦学习训练任务;将平衡后的联邦学习任务发送给下级客户端,客户端使用红狐算法对全局模型进行训练;将训练后的全局模型进行聚合与反馈,得到最新的全局模型;利用最新的全局模型进行联邦学习,以提高移动设备联邦学习的效率。本发明通过进行数据增强和重新调度的步骤缓解训练数据的全局不平衡问题、提高模型准确度。
技术领域
本发明涉及通信领域,更具体的,涉及一种移动设备联邦学习方法及系统。
背景技术
在实践中,计算时间是联邦学习的瓶颈。为了控制设备的计算时间,可以基于下限和上限来控制其用于训练的数据量,这会在系统中造成更多的数据不平衡情况,这样的不平衡会降低联邦学习的效率。
同时,在移动设备上的数据分布也是不平衡的,联邦学习在不平衡分布的数据集上的准确率低于平衡数据集,从而会导致模型的训练结果出现偏差。
在传统机器学习系统中,算法在跨云中多个服务器均匀分区的大型数据集上运行,联邦学习(federated learning,FL)通常是从大型非独立同分布且不平衡的数据集训练的,这些数据集由不同的UE(user equipment,用户设备)生成不同的分布。值得注意的是在参数更新阶段可能会出现如下状况:虽然在FL上运行的迭代算法需要计算单元之间非常低的延迟和高吞吐量的连接,但AP(access points,接入点)通常需要通过受限的频谱和有限数量的 UE 通过不可靠的信道来发送训练之后的权重以进行全局聚合。这些因素使得FL的运行缓慢和容错等问题比非分布式机器学习训练更为突出。为了成功部署FL,就需要采用新工具和新思维方式来进行模型开发和培训,而由于无法直接访问原始数据,通信成本又成为一个重要限制因素。
目前已有的成果分别在算法和通信上进行了研究。在算法方面,主要是减少更新上传阶段的开销,使模型训练更加高效,其中典型的方法包括通过仅更新具有显着训练改进的 UE 来减少通信带宽,压缩梯度向量通过量化,或在稀疏更新中采用动量方法来加速训练过程,然而这些方式忽略了无线信道的独特性质,还有进一步的改进空间。
而在通信方面,相关的解决方案大致可以分为两类:第一类通过扩大通信间隔来大幅降低通信开销,但这种方式降低了模型的最终精度,并且难以得到最佳的通信步长。第二类是数据压缩,即在传输之前将数据进行压缩。然而,压缩过程需要消耗大量时间,尤其是在电池敏感(例如智能手机)或低性能(例如上网本、网关)设备上执行联合学习时。
发明内容
鉴于上述问题,本发明的目的是提供一种移动设备联邦学习方法及系统,通过进行数据增强和重新调度的步骤缓解训练数据的全局不平衡问题、提高模型准确度。
本发明第一方面提供了一种适用于锂电池远程升级的方法,所述方法包括以下步骤:
S102:移动设备加入联邦学习训练任务;
S104:FL服务器初始化全局模型,并收集参与者的本地数据分布;
S106:通过数据增强和重新调度的方式重新平衡联邦学习训练任务;
S108:将平衡后的联邦学习任务发送给下级客户端,客户端使用红狐算法对全局模型进行训练;
S110:将训练后的全局模型进行聚合与反馈,得到最新的全局模型;
S112:利用最新的全局模型进行联邦学习,以提高移动设备联邦学习的效率。
本方案中,S104具体为:
在初始化阶段,FL服务器首先等待移动设备加入FL模型训练任务;
移动设备通过将其本地数据分布信息发送到FL服务器来参与培训;
在确定要参与训练的客户端后,FL服务器初始化神经网络模型的权重和优化器,并收集参与者的本地数据分布。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江中科华知科技股份有限公司,未经浙江中科华知科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210218303.5/2.html,转载请声明来源钻瓜专利网。