[发明专利]一种资源分配方法及装置有效
申请号: | 201410691187.4 | 申请日: | 2014-11-26 |
公开(公告)号: | CN104391749B | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 郭磊涛 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;H04L29/08 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 资源 分配 方法 装置 | ||
1.一种资源分配方法,其特征在于,应用于分布式计算系统,所述方法包括:
接收待处理的第一作业;
提取所述第一作业的特征信息;
根据所述特征信息,从预先建立的历史作业记录库中,查询与所述第一作业相匹配的目标历史作业,获取该目标历史作业运行过程中占有的硬件资源的资源量;其中,所述历史作业记录库中包括:历史作业的特征信息,该历史作业运行过程中占用的硬件资源的资源量以及历史作业运行过程中占用的硬件资源的资源使用率;
获取目标历史作业运行过程中占用的硬件资源的资源使用率;
判断所述目标历史作业运行过程中占用的硬件资源中,每一类型硬件资源的资源使用率值是否均小于预设的、该类型硬件资源使用率阈值;
如果是,则为所述第一作业分配:资源量为目标历史作业运行过程中占用的硬件资源量的硬件资源。
2.根据权利要求1所述的方法,其特征在于,在判断所述目标历史作业运行过程中占用的硬件资源中,每一类型硬件资源的资源使用率值是否均小于预设的、该类型硬件资源使用率阈值的结果为否的情况下,
针对所述目标历史作业占用的硬件资源中,存在瓶颈的硬件资源,使用预设的硬件资源计算方案,计算出:所述第一作业运行过程中需要的硬件资源的资源量,所述存在瓶颈的硬件资源为:资源量不小于所述预设的、硬件资源使用率阈值的硬件资源;
根据所述计算结果,为所述第一作业分配硬件资源。
3.根据权利要求2所述的方法,其特征在于,所述根据计算结果,为所述第一作业分配硬件资源,包括:
检测分布式计算系统可用的硬件资源中每一类型硬件资源的资源量是否均不小于所述计算结果中的该类型的硬件资源的资源量;
如果是,为所述第一作业分配:资源量为所述计算结果的硬件资源。
4.根据权利要求2-3任意一项所述的方法,其特征在于,所述硬件资源包括以下类型资源中的至少一种:内存、磁盘、网络I/O带宽、CPU。
5.根据权利要求4所述的方法,其特征在于,所述预设的硬件资源计算方案,包括:
第一作业运行所需的内存的计算公式为:(1+a%)*被该目标历史作业占用的内存量,其中,存在瓶颈的硬件资源为内存时,a0;存在瓶颈的硬件资源不为内存时,a=0;
第一作业运行所需的磁盘的计算公式为:(1+b%)*被该目标历史作业占用的磁盘量,其中,存在瓶颈的硬件资源为磁盘时,b0;存在瓶颈的硬件资源不为磁盘时,b=0;
第一作业运行所需的网络I/O带宽的计算公式为:(1+c%)*被该目标历史作业占用的网络I/O带宽量,其中,存在瓶颈的硬件资源为网络I/O带宽时,c0;存在瓶颈的硬件资源不为网络I/O带宽时,c=0;
第一作业运行所需的CPU的计算公式为:(1+d%)*被该目标历史作业占用的CPU量,其中,存在瓶颈的硬件资源为CPU时,d0;存在瓶颈的硬件资源不为CPU时,d=0。
6.根据权利要求1-3任意一项所述的方法,其特征在于,所述特征信息包括以下信息中的至少一种:
作业名称、作业类型、作业提交者、输入数据的类型和大小、输出数据的类型、作业的配置参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410691187.4/1.html,转载请声明来源钻瓜专利网。