[发明专利]一种资源调度方法、装置及计算机设备有效
申请号: | 201910711579.5 | 申请日: | 2019-08-02 |
公开(公告)号: | CN110442454B | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 李栋;马鹏程 | 申请(专利权)人: | 联想(北京)有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 张雪娇 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 资源 调度 方法 装置 计算机 设备 | ||
本申请涉及一种资源调度方法、装置及计算机设备,该方法针对待处理的第一任务,在基于申请到的资源为其构建多个计算单元后,进一步将各计算单元处理为至少包括静态与动态两种类型,之后针对第一任务的数据存储需求,利用静态计算单元的资源来存储数据,而针对第一任务空闲时的资源释放需求,则释放掉至少部分动态计算单元及其资源。由此,本申请通过将第一任务的计算单元处理为静态与动态两种类型,并区别化地、有选择性地利用静态计算单元的资源进行数据存储、利用动态计算单元及其资源参与资源释放,实现了在保证缓存(或持久化)数据完整的情况下,对计算资源进行动态管理,可有效缓解Spark等计算平台中计算性能与资源占用相矛盾的问题。
技术领域
本申请属于分布式资源管理技术领域,尤其涉及一种资源调度方法、装置及计算机设备。
背景技术
Spark是专为大规模数据处理而设计的快速、通用的计算引擎,可用来完成各种各样的运算,包括SQL(Structured Query Language,结构化查询语言)查询、文本处理、机器学习等。
Spark提供了一个开源的分布式集群计算平台,Spark速度非常快的原因之一,就是在不同操作中可以在其计算单元(Spark Executor)的内存中缓存或持久化关键RDD(Resilient Distributed Datasets,弹性分布式数据集),当缓存或持久化某个RDD后,可将该RDD在后续针对该RDD的其他动作中重用,这使得后续的动作变得更加迅速;也即,Spark通过在其计算单元的内存中缓存或持久化关键RDD来进行高效的处理,且基于负载均衡考虑,实际应用中,通常均匀地在不同服务器节点的不同计算单元中进行RDD缓存或持久化。
从资源占用角度来说,通常会根据任务的计算需求从平台资源池中动态申请/释放计算资源,其中,当计算繁忙时需申请更多的计算资源,而当计算空闲时则相应需释放富余的计算资源。但该动态申请/释放资源的动态资源管理机制,在Spark应用环境中,要么以Spark的计算性能为重不释放已缓存有RDD的闲置计算单元,要么以节约资源为重释放已缓存有RDD的闲置计算单元,这样已缓存的RDD也会随着其所对应的计算单元的释放而丢失,这就导致无法保证后续的计算性能。从而,对于Spark应用环境来说,存在计算性能与资源占用相矛盾的问题。
发明内容
有鉴于此,本申请的目的在于提供一种资源调度方法、装置及计算机设备,用于在保证缓存(或持久化)数据完整的情况下,对计算资源进行动态管理,以缓解Spark等计算平台中计算性能与资源占用相矛盾的问题。
为此,本发明公开如下技术方案:
一种资源调度方法,包括:
获得待处理的第一任务;
确定处理所述第一任务所需的计算单元的第一数量;
申请第一数量的计算单元所对应的资源;
基于申请到的资源构建第一数量的计算单元;
将所述第一数量的计算单元处理为至少包括静态类型与动态类型两种计算单元;
利用第一数量计算单元中的至少部分计算单元处理所述第一任务;
其中,若所述第一任务需存储待重用的数据,则利用静态类型的计算单元对应的资源进行待重用数据的存储;若所述第一任务进入符合第一条件的空闲状态,则释放至少部分动态类型的计算单元及其对应的资源。
上述方法,优选的,所述将所述第一数量的计算单元处理为至少包括静态类型与动态类型两种计算单元,包括:
将所述第一数量的计算单元中的一部分计算单元标记为静态类型,静态类型除外的其它计算单元标记为动态类型。
上述方法,优选的,所述将所述第一数量的计算单元中的一部分计算单元标记为静态类型,静态类型除外的其它计算单元标记为动态类型,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联想(北京)有限公司,未经联想(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910711579.5/2.html,转载请声明来源钻瓜专利网。