[发明专利]SLA感知的多租户大数据平台资源优先级调度方法及系统

权利要求书

1.SLA感知的多租户大数据平台资源优先级调度方法，其特征在于，包含以下顺序的步骤：

S1.租户加入集群，资源管理器向租户分配一个资源队列，租户上传作业到资源队列；

S2.资源管理器根据租户的资源队列状态定期向SLA感知器发送作业运行报告；

步骤S2中，所述资源管理器在每个作业完成度达到检查点时生成一份租户SLA报告向SLA感知器发送报告；所述SLA报告的内容包括作业完成百分比、租户资源队列的资源使用量、租户的期望完成时间、作业运行时间和作业ID；

S3.SLA感知器根据收到的作业状态信息判断该作业是否能在最后期限前完成，不能在最后期限前完成的作业被设定为高优先级作业；

步骤S3中，所述SLA感知器的作业最后期限判断模型为：

设定f_i为i租户的资源分配额，则有：

g_i(t)＝t·f_i

那么g_i(t)为i租户在t时刻资源使用总量；

设定P_i(t)为t时刻i租户的某个作业完成百分比，则有：

那么u_i(t)为i租户在t时刻的预计资源需求总量，z_i(t)为i租户在t时刻的某作业预计作业完成时间；

设定t₁、t₂、t₃……t_n分别表示某作业的n个完成进度检查点的时刻，Et为租户的所有作业期望完成时间；对于租户i，当该租户的某个作业运行到最后一个检查点时，有以下公式：

其中α为资源预测因子，β为期望完成时间因子；当α0时，表示资源是足够使用的；当β0时，表示作业可以在期望时间内完成；SLA感知器的最终判断将根据α和β来确定，有以下规则：

(1)如果α0或β0时，表示该作业正常运行，能够保证该租户作业的SLA；

(2)如果α0.2Et·f_i且β0.2Et时判断该租户说谎；该租户所占有的资源无法完成其提供的期望作业完成时间，该租户的SLA为不公平的SLA；

(3)如果0α0.2Et·f_i且0β0.2Et，并且该租户的SLA为公平的SLA，标记该租户的相关作业达到警告阈值，将该作业标注为高优先级作业；

S4.对于高优先级作业，SLA感知器将升级该作业所在的资源队列为高优先级资源队列，加速高优先级作业完成；

所述步骤S4，具体步骤为：

S401.标记高优先级作业所属租户的资源队列；

S402.将被标记的资源队列升级为高优先级队列；

S403.向高优先级队列分配额外所需资源，额外所需资源由SLA感知器根据计算从SLA保证资源中提供；

S404.高优先级队列中所有作业完成后，资源管理器回收额外资源；

S405.SLA感知器将高优先级队列降级为普通租户资源队列。

2.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法，其特征在于，步骤S1中，所述资源管理器向租户分配的资源基于租户向服务供应商申请的实际需求；RM保留一部分资源作为SLA的保证资源，SLA的保证资源只向高优先级资源队列分配。

3.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法，其特征在于，步骤S1中，所述租户在向集群上传作业时，应该同时备注该作业的期望完成时间；当租户同时上传一个以上作业时，该租户的期望完成时间为所有作业期望完成时间的累加。

4.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法，其特征在于，所述检查点的设置公式为其中CheckTime含义为每隔CheckTime个时间点为一个检查点，Et为作业期望完成时间，h为集群管理员预先设置的检查点个数。

5.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法，其特征在于，步骤S3中，所述SLA感知器将按照租户分配的资源容器数量进行资源需求计算。

6.一种根据权利要求1-5任一项所述SLA感知的多租户大数据平台资源优先级调度方法实现的SLA感知的多租户大数据平台资源优先级调度系统，其特征在于：包括资源管理器、SLA感知器；所述资源管理器为各个租户创建资源队列并为各个租户分配其所需的计算资源，租户的作业将上传到相应资源队列中等待资源调度，资源队列内部的资源调度策略为CS或FS；SLA感知器将通过心跳机制定期与资源管理器交换作业运行状态信息；SLA感知器通过内部计算得到预测信息；如果SLA感知器判断出某租户的作业即将超时，便将该租户的资源队列升级为高优先级资源队列，优先向该作业分配SLA保证资源来满足SLA中的最后期限。