[发明专利]基于大数据集群下多租户资源动态计算的策略方法及系统

权利要求书

1.基于大数据集群下多租户资源动态计算的策略方法，其特征在于：所述方法在大数据计算平台产品中的资源管理器服务中，通过监控大数据集群资源队列资源状态是否阻塞提供不同的计算策略，运行该计算策略的上游是任务管理器发起，经过资源管理器的判断后，由下游的任务执行器进行运行，所述方法包括以下步骤：

S100.租户提交任务到任务管理器；任务管理器将租户默认的资源队列编号发送至资源管理器；

S200.资源管理器使用检查集群队列阻塞策略，判断该编号下租户默认的资源队列是否可用；

S300.若默认的资源队列可用，通过执行器在默认的资源队列执行任务运行；若默认的资源队列不可用，资源管理器使用集群队列动态分配策略,选择最优空闲资源队列；

S400.通过执行器选择在最优空闲资源队列执行任务运行；

其中，步骤S300中，资源管理器对全部队列进行集群队列动态分配策略，获取每个队列的分数，通过最小值获取分数最小的队列，分数计算公式如下：

S=Qr+avgTC(count(αn，β,γ))；

R2=minQ（SA,SB,SC...）；

其中，Qr表示列运行中任务的数量；

αn表示根据最近n天的数据来推导接下来任务运行情况；

β表示需要推到的运行任务的时间点；

γ表示要推导接下来运行任务的时间窗口；

count()表示计算第n天对应任务运行时间点+推导的时间窗口运行任务的数量；

avgTC()为通过推导任务运行并发数方法，用来计算推导接下来预设时间周期内运行任务的数量从而计算到队列的分数；

S表示集群队列的分数；

SA,SB,SC...表示最近n天通过推导任务运行并发数方法计算得出对应队列的分数；

minQ()为分数最小队列的计算，计算并且返回分数最小的队列；

R2表示计算分数最小的队列；

通过R2计算出分数最小的队列，后续任务会通过R2的结果队列来进行任务的下发。

2.根据权利要求1所述的基于大数据集群下多租户资源动态计算的策略方法，其特征在于，步骤S200中，检查集群队列阻塞策略如下：

R1=（m*c）/（fun（α）/T）V+uc；

其中，m为集群的总内存大小；

c为队列对应的占比；

α为等待任务数量的时间窗口；

waitingTaskFun（α）为等待任务数量的计算方法，用fun（）表示，计算方法为waitingTaskFun（α）=waitingTaskCount/α；

T为单位时间；

V为队列阻塞状态的阈值；

uc为用户常量值，可以根据用户自身属性进行设置；

R1为检查队列状态结果，R1具有true和false两种结果；

若计算得出R1=true，则判断为默认的资源队列不可用；若计算得出R1=false，则判断为默认的资源队列可用。

3.根据权利要求2所述的基于大数据集群下多租户资源动态计算的策略方法，其特征在于，若检查集群队列阻塞策略检测为资源队列不可用，资源管理器则会进当下全部队列进行集群队列动态分配策略的执行获取每个队列的分数，选择当下最低分数的队列，分数越低代表资源充足。

4.根据权利要求2所述的基于大数据集群下多租户资源动态计算的策略方法，其特征在于，步骤S300中，预设时间周期为5分钟，在资源不充足的情况下，集群队列动态分配策略进行计算每次计算周期5分钟从而选择可用的队列。

5.根据权利要求2所述的基于大数据集群下多租户资源动态计算的策略方法，其特征在于，动态选择分数最小的队列可用队列进行任务下发和执行，使用任务运行并发数方法进行推导，间接达到资源隔离。

6.根据权利要求2所述的基于大数据集群下多租户资源动态计算的策略方法，其特征在于，判断其中一个队列资源不足的情况下，控制任务不会在该资源不足的队列中执行，保证了业务流程的正常调度，并且该队列没有新的任务进行提交那么队列的资源会逐渐恢复正常，资源管理器通过检查集群队列阻塞策略判断该队列恢复正常后，再将任务重新调度到该队列中。