[发明专利]一种基于用户作业流程的分布式集群资源调度方法在审
申请号: | 202110472138.1 | 申请日: | 2021-04-29 |
公开(公告)号: | CN113157421A | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | 胡亚红;邱圆圆;毛家发 | 申请(专利权)人: | 浙江工业大学 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F16/901 |
代理公司: | 杭州天正专利事务所有限公司 33201 | 代理人: | 王兵 |
地址: | 310014 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于用户作业流程的分布式集群资源调度方法。本发明首先分析作业所包含的各个子作业间的执行顺序约束关系,确定子作业的串并行执行顺序。再根据子作业的执行顺序为其进行资源的逻辑分配并预测在此资源配置下各子作业的执行时间,进而通过计算作业流程中的关键路径预测出作业的执行时间。通常用户提交的作业具有完成时间的约束,因此预测的作业完成时间可以作为集群能否及时为用户提供服务的依据。实验证明,相对于Spark默认的资源分配算法,本发明提出的算法能够缩短16.81%的作业执行时间。本发明提出的算法能够提高子作业运行的并行度、缩短作业执行时间,有助于提升云服务平台、超算中心和数据中心等机构的服务质量。 | ||
搜索关键词: | 一种 基于 用户 作业 流程 分布式 集群 资源 调度 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江工业大学,未经浙江工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110472138.1/,转载请声明来源钻瓜专利网。