[发明专利]一种基于贡献量的联邦学习客户机选择方法、系统及介质有效
申请号: | 202110717168.4 | 申请日: | 2021-06-28 |
公开(公告)号: | CN113378474B | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 林伟伟;许银海 | 申请(专利权)人: | 华南理工大学 |
主分类号: | G06F30/27 | 分类号: | G06F30/27;G06F111/08 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 李斌 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 贡献 联邦 学习 客户机 选择 方法 系统 介质 | ||
1.一种基于贡献量的联邦学习客户机选择方法,其特征在于,包括以下步骤:
初始化选择权重ωi,1=1/K,其中K为所有待选择的智能终端客户机的个数;
在每一轮训练开始前,根据选择权重ωi,t计算所有客户机的选择概率pi,t,其中t∈Γ,Γ={1,2,…,T}表示训练轮数的集合,最多训练T轮;
基于客户机的选择概率pi,t选择k个客户机集合At;
分发全局模型至At内被选择的客户机,被选择的客户机基于本地数据训练模型;
依次接收被选择的客户机训练得到的本地模型,并计算每个客户机的贡献量ai,t,所述客户机的贡献量ai,t为全局模型融合对应客户机本地模型后准确率的变化量,表示如下:
ai,t=Z-Z*;
其中Z*和Z分别表示在第t轮通信回合中融合第i个客户机前后全局模型的准确率;ai,t表示第t轮中第i个客户机对全局模型准确率的贡献量;
对本轮贡献量ai,t进行无偏估计,预测每个客户机下一轮的贡献量基于客户机下一轮的贡献量更新该客户机i的选择权重ωi,t为ωi,t+1;
若训练达到指定轮数或全局模型准确率达到设定的目标值,则退出;否则返回计算客户机选择概率的步骤进行下一轮训练。
2.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法,其特征在于,所述根据选择权重ωi,t计算所有客户机的选择概率pi,t具体如下式:
其中,pi,t表示第t轮中第i个客户机的选择概率;ωi,t表示第t轮中第i个客户机的选择权重;K为所有待选择的智能终端客户机的个数。
3.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法,其特征在于,所述客户机的贡献量ai,t∈[-1,1]。
4.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法,其特征在于,所述对本轮贡献量ai,t进行无偏估计,预测每个客户机下一轮的贡献量具体为:基于本轮训练中客户机对全局模型的真实贡献量,估计下一轮此客户机的贡献量,如下式:
其中表示在第t+1轮通信回合中第i个客户机的贡献量的无偏估计;pi,t表示在第t轮通信回合中第i个客户机的选择概率。
5.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法,其特征在于,所述ωi,t+1的更新方式具体为:
其中,ωi,t表示第t轮中第i个客户机的选择权重;表示在第t+1轮通信回合中第i个客户机的贡献量的无偏估计;θ表示的调节系数,其取值范围为[1,∞);η表示权重更新的学习率,其取值范围为(0,1)。
6.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法,其特征在于,客户机选择过程的目标为全局模型的贡献量最大化,目标函数定义如下:
P1:
At~(p1,t,p2,t,…,pK,t);
其中目标函数P1表示T轮贡献量总和的期望,即每一轮训练中选择对全局模型贡献量最大客户机的依据,pi,t表示第t轮中第i个客户机的选择概率,At为根据客户机概率随机选择的客户机组合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110717168.4/1.html,转载请声明来源钻瓜专利网。