[发明专利]一种去中心化联邦学习系统、方法、存储介质及计算设备有效
申请号: | 202310534928.7 | 申请日: | 2023-05-12 |
公开(公告)号: | CN116341691B | 公开(公告)日: | 2023-09-22 |
发明(设计)人: | 郭永安;李嘉靖;王宇翱;钱琪杰 | 申请(专利权)人: | 南京邮电大学;边缘智能研究院南京有限公司 |
主分类号: | G06N20/20 | 分类号: | G06N20/20 |
代理公司: | 南京纵横知识产权代理有限公司 32224 | 代理人: | 张赏 |
地址: | 210046 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 中心 联邦 学习 系统 方法 存储 介质 计算 设备 | ||
1.一种去中心化联邦学习方法,其特征在于,包括:
确定参与训练的终端设备,包括:
如果终端设备为固定不动的,则确定参与训练的终端设备为与边缘服务器建立通信连接的终端设备;
如果终端设备为移动的,则基于移动的终端设备的运动信息计算终端设备的停留时间:
其中,表示边缘服务器k通信覆盖范围内移动的终端设备n的停留时间,Rk表示边缘服务器k的通信覆盖范围,LOCn表示移动的终端设备n的位置,vn表示移动的终端设备n的速度;
选择满足公式(2)的移动的终端设备作为参与训练的终端设备:
其中,表示终端设备n进行联邦学习训练的时延,表示终端设备n和边缘服务器k之间的通信时延;
通过各边缘服务器从模型共享平面获取全局模型,根据参与训练的终端设备资源信息,以终端设备进行联邦学习训练的总时延最小为目标,对所获取的全局模型进行分割决策;
基于所得到的分割决策对所述全局模型进行模型分割得到部分模型,并将部分模型下发至对应的终端设备;
通过终端设备对接收到的部分模型进行连邦学习训练得到各自的部分模型参数;
通过各边缘服务器对参与训练的终端设备的部分模型参数进行聚合得到全局模型参数;
通过模型共享平面对各边缘服务器得到的全局模型参数进行聚合优化,更新全局模型;
基于更新后的全局模型继续进行模型分割及联邦学习的迭代训练,直至达到终止条件。
2.根据权利要求1所述的一种去中心化联邦学习方法,其特征在于,所述终端设备资源信息包括:终端设备的计算能力、终端设备的内存大小、与边缘服务器之间通信所用的带宽大小以及终端设备的本地数据集大小。
3.根据权利要求1所述的一种去中心化联邦学习方法,其特征在于,所述根据参与训练的终端设备资源信息,以终端设备进行联邦学习训练的总时延最小为目标,对所获取的全局模型进行分割决策,包括:
按公式(3)计算参与训练的终端设备的优先级:
其中,ψn(t)为第t轮本地训练中终端设备n的优先级,fn(t)为第t轮本地训练中终端设备n的计算能力,Sn(t)为第t轮本地训练中终端设备n的内存大小,Bn,k(t)为第t轮本地训练中终端设备n与边缘服务器k之间通信所用的带宽大小,Dn(t)为第t轮本地训练中终端设备n参与训练的本地数据集大小;
基于终端设备的优先级计算终端设备进行联邦学习训练的时延,以及终端设备和边缘服务器之间的通信时延,如公式(4)、公式(5)所示:
其中,N(t)表示当前全局训练中进行的第t轮本地训练轮次,θn表示终端设备n处理每个训练数据样本所需的浮点运算数,和分别表示联邦学习训练中第l层输入和输出的数据大小,trl表示联邦学习训练中第l层进行训练时需要的计算工作量,fn表示终端设备n的计算能力,cl表示联邦学习训练中第l层存储模型参数、输入和输出中间数据需要的内存大小,S表示终端设备n需要上传的数据量大小,Pn表示终端设备n的传输功率,g0表示路径损耗常数,d0表示参考距离,dn,k表示终端设备n和边缘服务器k之间的距离,α表示路径系数,σ2表示终端设备n处的信道噪声;
基于终端设备优先级、终端设备进行联邦学习训练的时延和通信时延,构建联邦学习模型分割策略的目标函数,如公式(6)所示:
其中,TIME表示总时延,T表示边缘服务器从收到终端设备发送的设备资源信息到生成联邦学习模型分割策略时间;
以总时延最小为优化目标,进行求解,获得总时延最小的联邦学习模型分割策略。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京邮电大学;边缘智能研究院南京有限公司,未经南京邮电大学;边缘智能研究院南京有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310534928.7/1.html,转载请声明来源钻瓜专利网。