[发明专利]用于深度学习框架的资源调度方法和装置有效
申请号: | 201810073413.0 | 申请日: | 2018-01-25 |
公开(公告)号: | CN108062246B | 公开(公告)日: | 2019-06-14 |
发明(设计)人: | 刘昆;周恺;王倩;肖远昊;刘岚;徐东泽;许天涵;郭江亮;唐进;张发恩;尹世明 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06K9/62 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 深度 学习 框架 资源 调度 方法 装置 | ||
1.一种用于深度学习框架的资源调度方法,包括:
间隔预定时间,向Kubernetes平台发送请求,从Kubernetes平台查询所有的深度学习作业对象的状态;
响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象,向所述Kubernetes平台提交资源请求,以调度所述Kubernetes平台所处的物理机启动所述深度学习训练任务。
2.根据权利要求1所述的资源调度方法,其中,所述深度学习作业对象包括:
节点组父属性;
设于所述节点组父属性下的镜像子属性;以及
设于所述节点组父属性下的资源配置子属性。
3.根据权利要求2所述的资源调度方法,其中,所述响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象,向所述Kubernetes平台提交资源请求包括:
响应于从各个深度学习作业对象中查询到状态符合新创建状态的深度学习作业对象,提取所述状态符合新创建状态的深度学习作业对象的资源配置子属性;
基于提取的资源配置子属性,向所述Kubernetes平台的应用程序接口服务器服务发送资源请求,以申请容器资源和网络策略。
4.根据权利要求1所述的资源调度方法,其中,所述响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象,向所述Kubernetes平台提交资源请求包括:
响应于从各个深度学习作业对象中查询到状态符合终止状态的深度学习作业对象,回收所述状态符合终止状态的深度学习作业对象的资源。
5.根据权利要求1所述的资源调度方法,其中,所述调度所述Kubernetes平台所处的物理机启动所述深度学习训练任务包括:
经由所述Kubernetes平台的应用程序接口服务器服务接收所述资源请求,创建资源对象;
经由所述Kubernetes平台的调度器服务异步监听所创建的资源对象,将所述所创建的资源对象分配至从节点;
经由所述从节点运行所述资源对象对应的容器以完成所述深度学习训练任务。
6.一种用于深度学习框架的资源调度装置,包括:
查询单元,用于间隔预定时间,向Kubernetes平台发送请求,从Kubernetes平台查询所有的深度学习作业对象的状态;
调度单元,用于响应于从各个深度学习作业对象中查询到状态符合提交资源请求状态的深度学习作业对象,向所述Kubernetes平台提交资源请求,以调度所述Kubernetes平台所处的物理机启动所述深度学习训练任务。
7.根据权利要求6所述的资源调度装置,其中,所述查询单元中的所述深度学习作业对象包括:
节点组父属性;
设于所述节点组父属性下的镜像子属性;以及
设于所述节点组父属性下的资源配置子属性。
8.根据权利要求7所述的资源调度装置,其中,所述调度单元包括:
提取子单元,用于响应于从各个深度学习作业对象中查询到状态符合新创建状态的深度学习作业对象,提取所述状态符合新创建状态的深度学习作业对象的资源配置子属性;
发送子单元,用于基于提取的资源配置子属性,向所述Kubernetes平台的应用程序接口服务器服务发送资源请求,以申请容器资源和网络策略。
9.根据权利要求6所述的资源调度装置,其中,所述调度单元包括:
回收子单元,用于响应于从各个深度学习作业对象中查询到状态符合终止状态的深度学习作业对象,回收所述状态符合终止状态的深度学习作业对象的资源。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810073413.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于雨水势能的太阳能电池板清洁装置
- 下一篇:模块化机器人主控制板