[发明专利]分布式计算系统中资源调度的方法和装置有效
申请号: | 201910581172.5 | 申请日: | 2019-06-29 |
公开(公告)号: | CN112148471B | 公开(公告)日: | 2023-07-07 |
发明(设计)人: | 王力;刘怀忠;何伟 | 申请(专利权)人: | 华为技术服务有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 张欣;王君 |
地址: | 065000 河北省*** | 国省代码: | 河北;13 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请提供了提供一种分布式计算系统中资源调度的方法和装置,该方法包括:获取所述分布式计算系统中待处理的批任务中每个spark任务的累积分配资源;根据所述批任务中每个spark任务的累积分配资源,为所述批任务中每个spark任务分配执行器。在本申请实施例中,基于批任务中每个spark任务的累积分配资源,为所述批任务中每个spark任务分配执行器,有利于缩短分布式计算系统处理批任务的时间。避免了传统的资源分配时,仅基于工作节点的处理能力为批任务分配执行器。导致小任务被分配的执行器的规格较高,大任务被分配的规格较小,导致小的任务早早被处理完成,大的任务还在被执行,总体上使得批任务的处理时间较长。 | ||
搜索关键词: | 分布式 计算 系统 资源 调度 方法 装置 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术服务有限公司,未经华为技术服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910581172.5/,转载请声明来源钻瓜专利网。
- 上一篇:一种膏状畜禽粪肥运输排放装置
- 下一篇:一种多晶硅棒的切割方法