[发明专利]基于大数据集群下多租户资源动态计算的策略方法及系统

说明书

本发明公开了一种基于大数据集群下多租户资源动态计算的策略方法及系统，包括步骤S100.租户提交任务到任务管理器；任务管理器将租户默认的资源队列编号发送至资源管理器；S200.资源管理器使用检查集群队列阻塞策略，判断该编号下租户默认的资源队列是否可用；S300.若默认的资源队列可用，通过执行器在默认的资源队列执行任务运行；若默认的资源队列不可用，资源管理器使用集群队列动态分配策略,选择最优空闲资源队列；S400.通过执行器选择在最优空闲资源队列执行任务运行。本发明中，每个租户在默认状态下对应Hadoop‑Yarn上一个队列，在默认分配的队列资源不足时，实现动态分配可用队列进行任务下发和执行，可动态分配资源，提高资源利用率，有效降本增效。

技术领域

本发明涉及计算机软件及大数据处理技术领域，尤其是在大数据集群上，对相互隔离的计算资源实现“动态”分配的计算策略的基于大数据集群下多租户资源动态计算的策略方法及系统。

背景技术

随着企业信息化能力的不断发展，大型企业的数字化转型不断深入，集团性企业共同使用一套的大数据集群，并且各个部门以租户的形式对集群资源进行分配与隔离使用，各部门在使用的过程中，通常情况下资源是充足的，但例如业务部门在节日大促活动期间，可能会出现某一时间段大量的计算任务并发，导致底层资源不足，造成等待现象，于此同时，若其他部门的资源相对空闲，可通过人为设定的方式多分配资源给业务部门，但是一般情况下难以提前预计到资源不足的情况，出现等待现象后再处理已经存在滞后，此外，人为分配的情况下，设定数值也难以匹配到适合的程度，可能会出现分配不足或分配过多导致其他部门资源不足的情况，这些都是不希望出现的，因此本发明为合理提高资源利用率，提出一种采用“动态”的分配计算策略方法，将任务提交到其他空闲资源队列上下发运行，有效地提高集群资源利用效率。

发明内容

针对现有技术存在的问题，本发明目的是在于租户提交任务，观察队列资源不足，使用集群队列动态分配策略动态选择空闲队列，下发执行器任务运行的方法。

为实现上述目的，本发明提供一种基于大数据集群下多租户资源动态计算的策略方法，所述方法在大数据计算平台产品中的资源管理器服务中，通过监控大数据集群资源队列资源状态是否阻塞提供不同的计算策略，运行该计算策略的上游是任务管理器发起，经过资源管理器的判断后，由下游的任务执行器进行运行，所述方法包括以下步骤：

S100.租户提交任务到任务管理器；任务管理器将租户默认的资源队列编号发送至资源管理器；

S200.资源管理器使用检查集群队列阻塞策略，判断该编号下租户默认的资源队列是否可用；

S300.若默认的资源队列可用，通过执行器在默认的资源队列执行任务运行；若默认的资源队列不可用，资源管理器使用集群队列动态分配策略,选择最优空闲资源队列；

S400.通过执行器选择在最优空闲资源队列执行任务运行。

进一步，步骤S200中，检查集群队列阻塞策略如下：

R1=（m*c）/（fun（α）/T）V+uc；

其中，m为集群的总内存大小；

c为队列对应的占比；

α为等待任务数量的时间窗口；

waitingTaskFun（α）为等待任务数量的计算方法，用fun（）表示，计算方法为waitingTaskFun（α）=waitingTaskCount/α；

T为单位时间；

V为队列阻塞状态的阈值；

uc为用户常量值，可以根据用户自身属性进行设置；

R1为检查队列状态结果，R1具有true和false两种结果；