[发明专利]资源分配方法、装置、设备、存储介质以及程序产品在审
申请号: | 202111601035.7 | 申请日: | 2021-12-24 |
公开(公告)号: | CN114416349A | 公开(公告)日: | 2022-04-29 |
发明(设计)人: | 李盼盼;胡在斌;张恒华 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京钲霖知识产权代理有限公司 11722 | 代理人: | 李英艳;杨继成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 资源 分配 方法 装置 设备 存储 介质 以及 程序 产品 | ||
1.一种应用于分布式作业系统的资源分配方法,包括:
确定执行第一作业所需的第一需求资源量,并确定所述第一作业所属作业队列对应的第一空闲资源量;
若所述第一需求资源量大于所述第一空闲资源量,则在所述分布式作业系统对应的集群资源中,为所述第一作业分配匹配所述第一需求资源量的目标资源。
2.根据权利要求1所述的方法,其中,在所述分布式作业系统对应的集群资源中,为所述第一作业分配匹配所述第一需求资源量的目标资源,包括:
在所述集群资源中统计具有空闲资源的节点对应的空闲资源总量;
若所述第一需求资源量小于或等于所述空闲资源总量,则在具有空闲资源的节点中,为所述第一作业分配匹配所述第一需求资源量的目标资源;
若所述第一需求资源量大于所述空闲资源总量,则在所述集群资源的全部节点中,为所述第一作业分配匹配所述第一需求资源量的目标资源。
3.根据权利要求2所述的方法,其中,所述在具有空闲资源的节点中,为所述第一作业分配匹配所述第一需求资源量的目标资源,包括:
基于所述第一需求资源量,对所述具有空闲资源的节点进行节点筛选,得到空闲资源量大于所述第一需求资源量的目标节点;
在所述目标节点的空闲资源中确定匹配所述第一需求资源量的目标资源,并为所述第一作业分配所述目标资源。
4.根据权利要求3所述的方法,其中,所述在所述目标节点的空闲资源中确定匹配所述第一需求资源量的目标资源,包括:
以除所述目标资源外的空闲资源中具有完整资源数量最多作为筛选条件,在所述目标节点的空闲资源中筛选匹配所述第一需求资源量的目标资源;
和/或
以所述目标资源通信延时最短作为筛选条件,在所述目标节点的空闲资源中筛选匹配所述第一需求资源量的目标资源。
5.根据权利要求2至4中任意一项所述的方法,还包括:
将所述第一作业的作业优先级调整为最低。
6.根据权利要求2所述的方法,其中,所述在所述集群资源的全部节点中,确定匹配所述第一需求资源量的目标资源,包括:
确定所述第一需求资源量超出所述空闲资源总量的第二需求资源量;
在当前占用所述集群资源的作业中,确定作业优先级低于所述第一作业的第二作业,并在所述第二作业所占用的资源中,确定匹配所述第二需求资源量的目标资源;
将匹配所述第二需求资源量的目标资源,以及所述具有空闲资源的节点对应的全部空闲资源,作为匹配所述第一需求资源量的目标资源;
为所述第一作业分配匹配所述第一需求资源量的目标资源。
7.根据权利要求6所述的方法,其中,所述在所述第二作业所占用的资源中,确定匹配所述第二需求资源量的目标资源,包括:
针对所述第二作业,统计超出最小可执行任务数量min-available的目标任务所占用的资源总量;
若所述目标任务所占用的资源总量大于或等于所述第二需求资源量,则在所述目标任务所占用的资源中确定匹配所述第二需求资源量的目标资源;
若所述目标任务所占用的资源量小于所述第二需求资源量,则在所述第二作业所占用的全部资源中确定匹配所述第二需求资源量的目标资源。
8.根据权利要求1至7中任意一项所述的方法,所述确定所述第一需求资源量大于所述第一空闲资源量之前,还包括:
获取所述第一作业的作业优先级,并确定所述作业优先级不为最低。
9.一种应用于分布式作业系统的资源分配装置,包括:
确定模块,用于在确定执行第一作业所需的第一需求资源量,并确定所述第一作业所属作业队列对应的第一空闲资源量;
处理模块,用于在所述第一需求资源量大于所述第一空闲资源量的情况下,在所述分布式作业系统对应的集群资源中,为所述第一作业分配匹配所述第一需求资源量的目标资源。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111601035.7/1.html,转载请声明来源钻瓜专利网。