[发明专利]一种联邦学习调度方法、装置及系统在审
申请号: | 202011405422.9 | 申请日: | 2020-12-04 |
公开(公告)号: | CN112508205A | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 史国梅;栗力;陈文艳;须成忠 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06N20/20 | 分类号: | G06N20/20;G06K9/62 |
代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 魏毅宏 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 联邦 学习 调度 方法 装置 系统 | ||
1.一种联邦学习调度方法,其特征在于,包括下述步骤:
服务器接收客户端发送的联邦学习训练请求;
所述服务器响应所述联邦学习训练请求,将当前全局模型的模型数据发送至所述客户端进行训练;
所述服务器调度所述客户端的历史训练记录,得到所述客户端的历史训练时间;
所述服务器基于所述历史训练时间计算时间窗口的预备值;
当所述服务器接收到所述客户端发送的训练报告时,基于所述预备值设置训练时间窗口;
所述服务端基于在所述训练时间窗口内接收到的所有所述客户端发送的所述训练报告中的数据进行模型聚合操作,得到新的全局模型。
2.根据权利要求1所述的联邦学习调度方法,其特征在于,所述服务器基于所述历史训练时间计算时间窗口的预备值的步骤具体包括:
所述服务器基于密度聚类算法对所述历史训练时间进行聚类操作,得到所述训练时间聚类;
所述服务器将每个所述训练时间聚类的直径作为所述时间窗口的预备值。
3.根据权利要求1所述的联邦学习调度方法,其特征在于,所述训练报告包括客户端模型,所述服务端基于在所述训练时间窗口内接收到的所有所述客户端发送的所述训练报告中的数据进行模型聚合操作,得到新的全局模型的步骤包括:
所述服务器基于惩罚因子对所述当前全局模型以及所述客户端模型进行加权计算,得到模型中间值;
所述服务器基于所述模型中间值进行平均计算,得到所述新的全局模型。
4.根据权利要求3所述的联邦学习调度方法,其特征在于,所述训练报告还包括客户端版本数据,在所述当所述服务器接收到所述客户端发送的训练报告时,基于所述预备值设置训练时间窗口的步骤之后,所述方法还包括:
所述服务器基于所述当前全局模型的版本数据以及所述客户端版本数据进行差值计算,得到版本差;
所述服务器基于所述版本差进行中间值计算,得到所述惩罚因子。
5.根据权利要求1所述的联邦学习调度方法,其特征在于,所述训练报告还包括模型训练时间,在所述当所述服务器接收到所述客户端发送的训练报告时,基于所述预备值设置训练时间窗口的步骤之后,所述方法还包括:
所述服务器将所述模型训练时间作为所述客户端的历史训练记录保存至数据库中。
6.一种联邦学习调度方法,应用于服务器以及与所述服务器连接的至少一个客户端,其特征在于,包括:
所述客户端向所述服务器发送联邦学习训练请求;
当所述服务器接收到所述客户端发送的联邦学习训练请求时,所述服务器将当前全局模型的模型数据发送至所述客户端进行训练;
当所述客户端接收到所述服务器发送的模型数据时,所述客户端基于所述模型数据进行训练,得到训练后的客户端模型以及所述客户端模型对应的客户端版本数据;
当所述训练完成后,所述客户端记录完成训练的时间,得到模型训练时间;
所述客户端基于所述客户端模型、所述客户端版本数据以及所述模型训练时间生成训练报告,并将所述训练报告发送至所述服务器;
所述服务器调度所述客户端的历史训练记录,得到所述客户端的历史训练时间;
所述服务器基于所述历史训练时间计算时间窗口的预备值;
当所述服务器接收到所述客户端发送的训练报告时,基于所述预备值设置训练时间窗口;
所述服务器基于在所述训练时间窗口内接收到的所有所述客户端发送的所述训练报告中的数据进行模型聚合操作,得到新的全局模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011405422.9/1.html,转载请声明来源钻瓜专利网。