[发明专利]一种资源调度方法、装置和系统有效
申请号: | 201711362963.6 | 申请日: | 2017-12-18 |
公开(公告)号: | CN109936604B | 公开(公告)日: | 2022-07-26 |
发明(设计)人: | 张皓天;苏磊;靳江明 | 申请(专利权)人: | 北京图森智途科技有限公司 |
主分类号: | H04L67/60 | 分类号: | H04L67/60;H04L67/10;G06F9/50 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 101300 北京市顺*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 资源 调度 方法 装置 系统 | ||
1.一种资源调度方法,其特征在于,所述方法应用于master-worker模式的分布式计算集群中的master端服务器,方法包括:
监控每个宿主机中各图形处理器GPU的可分配资源;
在接收到新任务时,确定新任务对应的需求资源;
根据宿主机中的各GPU的可分配资源,确定出可分配资源满足所述需求资源的目标GPU;
从所述目标GPU的可分配资源中为所述新任务分配资源,并将所述新任务分配给所述目标GPU所在的宿主机,
其中,可分配资源包括GPU中的空闲资源和可共享资源,GPU中的可共享资源是指GPU中已分配给执行中任务的资源中的预测在一段时间内未被执行中任务利用的部分资源;
根据宿主机中的各GPU的可分配资源,确定出可分配资源满足所述需求资源的目标GPU,具体包括:
判断宿主机的各GPU中是否存在空闲资源大于等于所述需求资源的第一候选GPU;
若存在第一候选GPU,则从所述第一候选GPU中选取一个GPU作为目标GPU;
若不存在第一候选GPU,则判断宿主机的各GPU中是否存在可共享资源大于等于所述需求资源的第二候选GPU;
若存在第二候选GPU,则从所述第二候选GPU中选取一个GPU作为目标GPU;
若不存在第二候选GPU,则:判断宿主机的各GPU中是否存在空闲资源与可共享资源的总和大于等于所述需求资源的第三候选GPU;若存在第三候选GPU,则从所述第三候选GPU中选取一个GPU作为目标GPU。
2.根据权利要求1所述的方法,其特征在于,在判断宿主机的各GPU中是否存在可共享资源大于等于所述需求资源的第二候选GPU之前,还包括:
判断宿主机中是否存在优先级低于所述新任务、且分配的资源大于等于所述需求资源的可抢占任务;
若存在可抢占任务,则从所述可抢占任务中选取一个目标任务,将所述目标任务的资源分配给所述新任务,并将所述新任务分配给所述目标任务所在的宿主机;
若不存在可抢占任务,则执行所述判断宿主机的各GPU中是否存在可共享资源大于等于所述需求资源的第二候选GPU的步骤。
3.根据权利要求1或2所述的方法,其特征在于,从所述第二候选GPU中选取一个GPU作为目标GPU,具体包括:从所述第二候选GPU中选取一个包含的执行中任务的优先级均高于新任务的GPU作为目标GPU;
和/或,从所述第三候选GPU中选取一个GPU作为目标GPU,具体包括:从所述第三候选GPU中选取一个包含的执行中任务的优先级均高于新任务的GPU作为目标GPU。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京图森智途科技有限公司,未经北京图森智途科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711362963.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于HTTP非直联网络通信方法
- 下一篇:一种加载接口数据的方法和装置