[发明专利]一种资源调整方法及装置

说明书

本申请实施例公开了一种资源调整方法及装置。所述方法应用于包括多个机器节点的分布式系统中，所述机器节点上设置有多个作业节点，包括：接收资源调整请求，所述资源调整请求中包括目标作业节点所需调整的资源量以及所述目标作业节点所在机器节点的标识信息；设置所述资源调整请求对应的资源调整状态；若确定所述标识信息对应的机器节点满足所述目标作业节点的资源调整需求，则更新所述资源调整状态，并发送调整资源的指令至所述机器节点；接收所述机器节点的资源调整结果，并更新所述资源调整状态。本申请实施例可以实现分布式系统中应用程序运行期间的动态资源调整，可以提升分布式系统中各个机器节点上的资源利用率以及应用程序的运行效率。

技术领域

本申请涉及大数据技术领域，特别涉及一种资源调整方法及装置。

背景技术

在Hadoop生态越来越完善的背景下，集群多用户租用的场景变得越来越普遍，而多用户任务下的资源调度就显得尤为关键。比如，公司拥有具有几十个计算节点的Hadoop集群，A项目组要进行一个计算任务，B项目组也要进行一个计算任务，集群应该先执行哪个计算任务。又或者，如果多个用户同时提交大量的计算任务，这些计算任务又该如何执行。为了解决上面的技术问题，需要在Hadoop集群中引入资源管理和任务调度的框架。目前，主流的资源管理系统主要包括Google的Borg、Apache的YARN、Twitter的Mesos、腾讯搜搜的Torc、Facebook的Corona等。

在分布式系统的应用场景中，存在资源动态调整的需求。典型地，分布式系统中可以运行着多个应用，应用按其运行生命周期的长短可分为长应用和短应用。短应用通常是离线作业，作业从提交到完成所消耗的时间有限，作业完成后，其占用的资源会被释放，如SQL查询等。长应用通常是一些在线服务，启动后除非意外或人为终止，将一直运行下去，如网页后端。长应用通常长期占用集群上的一些资源，且运行期间对资源的需求会随着时间和/或流量的变化而变化。以电商网站的后端服务举例，在晚上8点－12点的流量会比凌晨2点到4点的流量要大很多，自然在线服务作业需要的资源请求也随之增大。如果可以根据时间和/或业务需求动态调整长应用作业的资源请求，在繁忙的时候扩大资源请求，在空闲的时候缩小资源请求，那么在长应用作业空闲的时候，系统可以提供额外的剩余资源运行更多的短应用。

目前，现有技术中还没有资源申请动态调整的解决方案，长应用一经提交，资源请求的大小即不能改变。对此，在长应用与短应用共存的集群中，长应用无法根据时间和/或业务需求来动态调整资源请求放入大小，至少会存在以下两个问题：

一、当长应用处于空闲状态时，申请的剩余资源无法被其他应用使用，造成资源浪费；

二、当长应用处于繁忙状态时，申请的资源大小可能不满足业务需求，造成长应用作业在执行过程中被限制。

因此，现有技术中亟需一种对分布式系统中资源申请进行动态调整的方式。

发明内容

本申请实施例的目的在于提供一种资源调整方法及装置，可以提升分布式系统中各个机器节点上的资源利用率以及应用程序的运行效率。

本申请实施例提供一种资源调整分配方法及装置是这样实现的：

一种资源调整方法，应用于包括多个机器节点的分布式系统中，所述机器节点上设置有多个作业节点，所述方法包括：

接收资源调整请求，所述资源调整请求中包括目标作业节点所需调整的资源量以及所述目标作业节点所在机器节点的标识信息；

设置所述资源调整请求对应的资源调整状态；

若确定所述标识信息对应的机器节点满足所述目标作业节点的资源调整需求，则更新所述资源调整状态，并发送调整资源的指令至所述机器节点；

接收所述机器节点的资源调整结果，并更新所述资源调整状态。