[发明专利]联邦学习方法、设备、存储介质及程序产品在审
申请号: | 202210402176.4 | 申请日: | 2022-04-18 |
公开(公告)号: | CN114723048A | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 沈力;杨淼 | 申请(专利权)人: | 京东科技信息技术有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06K9/62 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 王征;刘芳 |
地址: | 100176 北京市北京经济技*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 联邦 学习方法 设备 存储 介质 程序 产品 | ||
1.一种联邦学习方法,其特征在于,包括:
将第一联邦学习模型发送至参与设备集群中的所有备选设备,以使各备选设备分别根据其本地数据集获取所述第一联邦学习模型的第一损失值;
获取各备选设备的第一损失值,根据各备选设备的第一损失值以及预设的元学习模型从备选设备中选择目标设备;
控制各所述目标设备进行联邦学习得到第二联邦学习模型,并根据预设验证数据集获取所述第二联邦学习模型的第二损失值,并根据所述第二损失值更新所述元学习模型;
若所述第二损失值未收敛,则将所述第二联邦学习模型作为所述第一联邦学习模型重新执行上述过程;若所述第二损失值收敛,则将所述第二联邦学习模型确定为最终的联邦学习模型。
2.根据权利要求1所述的方法,其特征在于,所述根据各备选设备的第一损失值以及预设的元学习模型从备选设备中选择目标设备,包括:
根据各备选设备的第一损失值以及预设的元学习模型,分别获取各备选设备的权重,并根据各备选设备的权重从备选设备中选择目标设备。
3.根据权利要求2所述的方法,其特征在于,所述根据各备选设备的权重从备选设备中选择目标设备,包括:
将各备选设备的权重以及预设目标设备数量输入TopK Gumble-max算法模型,根据模型输出结果从备选设备中选择目标设备。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第二损失值更新所述元学习模型,包括:
将所述第二损失值确定为所述元学习模型的损失值,根据预设学习率以及所述元学习模型的损失值对所述元学习模型进行反向更新。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述元学习模型为多层感知机,所述多层感知机包括预设宽度的一层神经网络。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述控制各所述目标设备进行联邦学习得到第二联邦学习模型,包括:
控制各所述目标设备根据其本地数据集分别对所述第一联邦学习模型进行训练,得到各目标设备训练后的联邦学习模型;
获取各目标设备训练后的联邦学习模型,并进行聚合,得到所述第二联邦学习模型。
7.根据权利要求1所述的方法,其特征在于,所述根据预设验证数据集获取所述第二联邦学习模型的第二损失值前,还包括:
从公共数据集中采集数据构成所述预设验证数据集,使得所述预设验证数据集中的数据标签类别均衡且标签无噪声。
8.一种联邦学习设备,其特征在于,包括:
第一损失值获取模块,用于将第一联邦学习模型发送至参与设备集群中的所有备选设备,以使各备选设备分别根据其本地数据集获取所述第一联邦学习模型的第一损失值;获取各备选设备的第一损失值;
目标设备选择模块,用于根据各备选设备的第一损失值以及预设的元学习模型从备选设备中选择目标设备;
学习模块,用于控制各所述目标设备进行联邦学习得到第二联邦学习模型;根据预设验证数据集获取所述第二联邦学习模型的第二损失值,并根据所述第二损失值更新所述元学习模型;
控制模块,用于判断所述第二损失值是否收敛,若所述第二损失值未收敛,则将所述第二联邦学习模型作为所述第一联邦学习模型重新执行上述过程;若所述第二损失值收敛,则将所述第二联邦学习模型确定为最终的联邦学习模型。
9.根据权利要求8所述的设备,其特征在于,所述目标设备选择模块在根据各备选设备的第一损失值以及预设的元学习模型从备选设备中选择目标设备时,用于:
根据各备选设备的第一损失值以及预设的元学习模型,分别获取各备选设备的权重,并根据各备选设备的权重从备选设备中选择目标设备。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东科技信息技术有限公司,未经京东科技信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210402176.4/1.html,转载请声明来源钻瓜专利网。