[发明专利]一种移动设备联邦学习方法及系统在审
申请号: | 202210218303.5 | 申请日: | 2022-03-08 |
公开(公告)号: | CN114358286A | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 李志杰 | 申请(专利权)人: | 浙江中科华知科技股份有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/00;G06K9/62;G06F8/65;H04L67/01 |
代理公司: | 杭州华知专利事务所(普通合伙) 33235 | 代理人: | 张德宝 |
地址: | 311121 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 移动 设备 联邦 学习方法 系统 | ||
1.一种移动设备联邦学习方法,其特征在于,所述方法包括以下步骤:
S102:移动设备加入联邦学习训练任务;
S104:FL服务器初始化全局模型,并收集参与者的本地数据分布;
S106:通过数据增强和重新调度的方式重新平衡联邦学习训练任务;
S108:将平衡后的联邦学习任务发送给下级客户端,客户端使用红狐算法对全局模型进行训练;
S110:将训练后的全局模型进行聚合与反馈,得到最新的全局模型;
S112:利用最新的全局模型进行联邦学习,以提高移动设备联邦学习的效率。
2.根据权利要求1所述的一种移动设备联邦学习方法,其特征在于,S104具体为:
在初始化阶段,FL服务器首先等待移动设备加入FL模型训练任务;
移动设备通过将其本地数据分布信息发送到FL服务器来参与培训;
在确定要参与训练的客户端后,FL服务器初始化神经网络模型的权重和优化器,并收集参与者的本地数据分布。
3.根据权利要求1或2所述的一种移动设备联邦学习方法,其特征在于,所述S106所述数据增强的流程如下:
初始化下采样阈值τd和增强阈值τa,此处设置τa为τd的负倒数,若类的数据大小的z-score 大于τd,则将这个类视为多数类,表示为Yd;
若类的数据大小的z-score小于τa, 则将这个类视为少数类,表示为Ya;
是用来控制产生多少增强以及保留多少样本的比率,对于第y个数据集,执行如下操作:
当时,,将该集并入Yd
当时, ,将该集并入Ya
其中,为该数据集的大小,为该数据集的标准差,为该数据集的均值,为该数据集的z-score;
完成对Yd,Ya,的计算后, 服务器将这些参数发送给客户端;
然后,所有客户端并行执行数据扩充和下采样;
客户端对数据集中的每一个取样进行操作:若该取样的来源在集合Yd中,则判断其来源集y的量是否已经缩减到原来的,若已经满足则保留该取样,若不满足则返回空;若该取样的来源在集合Ya中,就对其进行增强,包括随机移位、随机旋转、随机剪切和随机缩放的操作,增强部分的大小为原取样大小的-1;
一旦所有客户端都完成了增强和下采样,FL服务器则创建中介来重新调度客户端以实现部分平衡。
4.根据权利要求3所述的一种移动设备联邦学习方法,其特征在于,S106所述重新调度的流程如下:
中介遍历所有未分配客户端的数据分布,并选择数据分布使中介者的数据分布最接近均匀分布的客户端;在此基础上执行ZOA算法,从而保证每个中介都得到最大程度的利用;
当中介达到最大分配客户端限制时,FL服务器将创建一个新中介,并重复上述过程,直到对所有客户端都能重新安排训练任务。
5.根据权利要求4所述的一种移动设备联邦学习方法,其特征在于,所述ZOA算法如下:
首先,将ZOA算法设置一个最小堆来存储向每个资源添加任务的成本;
然后,它将任务分配给资源的下限初始化,如果它们可以接收更多任务,则将下一个任务分配到堆的成本增加;它的主循环通过获取具有最低成本的资源之一来接收新任务,将附加任务分配给它,从而一次对一项任务进行最佳分配,如果它仍然可以接收更多任务,则更新其在堆上的成本;在主循环的所有迭代之后,所有任务都将分配给已有资源,ZOA算法完成。
6.根据权利要求1或5所述的一种移动设备联邦学习方法,其特征在于,所述S108具体为:
在每轮通信开始时,每个中介将任务发送给下级客户端,每个客户端使用红狐算法训练E次,并执行红狐算法的反投毒操作判断,将全局模型进行更新,之后将更新后的全局模型返回给相应的中介;
中介接收更新后的结果并将其发送给下一个等待的训练客户端;
中介管理下的所有客户端都完成一次接收、训练与反馈;循环这个过程Em次;
最后,所有的中介将全局模型的更新发送到FL服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江中科华知科技股份有限公司,未经浙江中科华知科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210218303.5/1.html,转载请声明来源钻瓜专利网。