[发明专利]联邦学习集群监控方法、装置、设备及介质有效
申请号: | 202011585022.0 | 申请日: | 2020-12-28 |
公开(公告)号: | CN112671613B | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 王国彬;牟锟伦;杨行榜 | 申请(专利权)人: | 深圳市彬讯科技有限公司 |
主分类号: | H04L43/08 | 分类号: | H04L43/08;H04L43/0823;H04L43/12;H04L67/10;G06N20/20 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 谭果林 |
地址: | 518000 广东省深圳市南山区西丽街道*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 联邦 学习 集群 监控 方法 装置 设备 介质 | ||
1.一种联邦学习集群监控方法,其特征在于,包括:
接收来自联邦学习集群中的联邦学习服务中心的第一监控请求,获取所述第一监控请求中的第一注册主信息和第一监控主信息;所述联邦学习集群包括一个所述联邦学习服务中心和多个联邦学习参与者;
根据所述第一注册主信息,将所述联邦学习服务中心注册至监控服务中心,并在所述监控服务中心中创建与所述第一注册主信息对应的主节点和主路径之后,向所述联邦学习服务中心发送与所述主节点对应的创建成功指令,同时创建与所述第一监控主信息对应的主监控;
接收各所述联邦学习参与者发送的第二监控请求,获取各所述第二监控请求中的第一注册从信息和第一监控从信息;一个所述第二监控请求包括一个所述第一注册从信息和一个所述第一监控从信息;所述第二监控请求为所述联邦学习服务中心接收到所述创建成功指令之后由所有所述联邦学习参与者触发生成;
根据各所述第一注册从信息,将各所述联邦学习参与者注册至所述监控服务中心,并在所述监控服务中心中创建与各所述第一注册从信息对应的第一从节点,以及在所述主路径下创建与各所述第一从节点一一对应的从路径之后,创建与各所述联邦学习参与者生成的所述第一监控从信息对应的从监控;
通过所述监控服务中心的监听机制,启动所述主监控和所有所述从监控,以通过所述主监控和所有所述从监控对所述联邦学习集群进行监控。
2.如权利要求1所述的联邦学习集群监控方法,其特征在于,所述通过所述监控服务中心的监听机制,启动所述主监控和所有所述从监控,以通过所述主监控和所有所述从监控对所述联邦学习集群进行监控之后,包括:
在通过所述主监控监听到所述联邦学习服务中心出现宕机时,向所述联邦学习集群发送与所述联邦学习服务中心对应的第一宕机指令;
接收第三监控请求,获取所述第三监控请求中的第二注册主信息和第二监控主信息;所述第三监控请求为在所述联邦学习集群接收到所述第一宕机指令并重启所述联邦学习服务中心之后,通过重启后的所述联邦学习服务中心生成;
将所述第二注册主信息与所述主节点关联,将重启后与所述第二注册主信息对应的所述联邦学习服务中心注册至所述监控服务中心;
根据所述第二监控主信息对所述主监控进行更新,并通过所述监听机制,启动更新后的所述主监控,通过更新之后的所述主监控对重启后的所述联邦学习服务中心进行监控。
3.如权利要求2所述的联邦学习集群监控方法,其特征在于,所述对重启后的所述联邦学习服务中心进行监控之后,包括:
将与所述第一宕机指令对应的重启事件记录至日志中;
对所述日志进行宕机分析,得到宕机分布图;
根据所述宕机分布图,制定均衡策略,生成调节数据,并将所述调节数据发送至所述联邦学习集群进行实施。
4.如权利要求2所述的联邦学习集群监控方法,其特征在于,所述向所述联邦学习集群发送与所述联邦学习服务中心对应的第一宕机指令之后,还包括:
接收第四监控请求,获取所述第四监控请求中的第三注册主信息和第三监控主信息;所述第四监控请求是指在所述联邦学习集群接收到所述第一宕机指令并重启所述联邦学习服务中心无效之后,通过与所述联邦学习服务中心对应的备份中心生成与所述第一宕机指令对应的请求;
将所述第三注册主信息与所述主节点关联,将所述备份中心注册至所述监控服务中心;
根据所述第三监控主信息对所述主监控进行更新,并通过所述监听机制,启动更新后的所述主监控,通过更新之后的所述主监控对重启后的所述备份中心进行监控。
5.如权利要求1所述的联邦学习集群监控方法,其特征在于,所述接收来自联邦学习集群中的联邦学习服务中心的第一监控请求之前,包括:
构建一个基于Kubernetes的初始集群;Kubernetes指用于部署、扩展和管理容器化应用程序的开源系统;
运用基于飞桨的联邦学习框架,在所述初始集群中搭建所述联邦学习服务中心和所述联邦学习参与者,将搭建后的所述初始集群确定为所述联邦学习集群。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市彬讯科技有限公司,未经深圳市彬讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011585022.0/1.html,转载请声明来源钻瓜专利网。