[发明专利]SLA感知的多租户大数据平台资源优先级调度方法及系统有效
申请号: | 201910226671.2 | 申请日: | 2019-03-25 |
公开(公告)号: | CN109992418B | 公开(公告)日: | 2023-01-06 |
发明(设计)人: | 林伟伟;李毓睿 | 申请(专利权)人: | 华南理工大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 陈宏升 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | sla 感知 租户 数据 平台 资源 优先级 调度 方法 系统 | ||
1.SLA感知的多租户大数据平台资源优先级调度方法,其特征在于,包含以下顺序的步骤:
S1.租户加入集群,资源管理器向租户分配一个资源队列,租户上传作业到资源队列;
S2.资源管理器根据租户的资源队列状态定期向SLA感知器发送作业运行报告;
步骤S2中,所述资源管理器在每个作业完成度达到检查点时生成一份租户SLA报告向SLA感知器发送报告;所述SLA报告的内容包括作业完成百分比、租户资源队列的资源使用量、租户的期望完成时间、作业运行时间和作业ID;
S3.SLA感知器根据收到的作业状态信息判断该作业是否能在最后期限前完成,不能在最后期限前完成的作业被设定为高优先级作业;
步骤S3中,所述SLA感知器的作业最后期限判断模型为:
设定fi为i租户的资源分配额,则有:
gi(t)=t·fi
那么gi(t)为i租户在t时刻资源使用总量;
设定Pi(t)为t时刻i租户的某个作业完成百分比,则有:
那么ui(t)为i租户在t时刻的预计资源需求总量,zi(t)为i租户在t时刻的某作业预计作业完成时间;
设定t1、t2、t3……tn分别表示某作业的n个完成进度检查点的时刻,Et为租户的所有作业期望完成时间;对于租户i,当该租户的某个作业运行到最后一个检查点时,有以下公式:
其中α为资源预测因子,β为期望完成时间因子;当α0时,表示资源是足够使用的;当β0时,表示作业可以在期望时间内完成;SLA感知器的最终判断将根据α和β来确定,有以下规则:
(1)如果α0或β0时,表示该作业正常运行,能够保证该租户作业的SLA;
(2)如果α0.2Et·fi且β0.2Et时判断该租户说谎;该租户所占有的资源无法完成其提供的期望作业完成时间,该租户的SLA为不公平的SLA;
(3)如果0α0.2Et·fi且0β0.2Et,并且该租户的SLA为公平的SLA,标记该租户的相关作业达到警告阈值,将该作业标注为高优先级作业;
S4.对于高优先级作业,SLA感知器将升级该作业所在的资源队列为高优先级资源队列,加速高优先级作业完成;
所述步骤S4,具体步骤为:
S401.标记高优先级作业所属租户的资源队列;
S402.将被标记的资源队列升级为高优先级队列;
S403.向高优先级队列分配额外所需资源,额外所需资源由SLA感知器根据计算从SLA保证资源中提供;
S404.高优先级队列中所有作业完成后,资源管理器回收额外资源;
S405.SLA感知器将高优先级队列降级为普通租户资源队列。
2.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法,其特征在于,步骤S1中,所述资源管理器向租户分配的资源基于租户向服务供应商申请的实际需求;RM保留一部分资源作为SLA的保证资源,SLA的保证资源只向高优先级资源队列分配。
3.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法,其特征在于,步骤S1中,所述租户在向集群上传作业时,应该同时备注该作业的期望完成时间;当租户同时上传一个以上作业时,该租户的期望完成时间为所有作业期望完成时间的累加。
4.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法,其特征在于,所述检查点的设置公式为其中CheckTime含义为每隔CheckTime个时间点为一个检查点,Et为作业期望完成时间,h为集群管理员预先设置的检查点个数。
5.根据权利要求1所述SLA感知的多租户大数据平台资源优先级调度方法,其特征在于,步骤S3中,所述SLA感知器将按照租户分配的资源容器数量进行资源需求计算。
6.一种根据权利要求1-5任一项所述SLA感知的多租户大数据平台资源优先级调度方法实现的SLA感知的多租户大数据平台资源优先级调度系统,其特征在于:包括资源管理器、SLA感知器;所述资源管理器为各个租户创建资源队列并为各个租户分配其所需的计算资源,租户的作业将上传到相应资源队列中等待资源调度,资源队列内部的资源调度策略为CS或FS;SLA感知器将通过心跳机制定期与资源管理器交换作业运行状态信息;SLA感知器通过内部计算得到预测信息;如果SLA感知器判断出某租户的作业即将超时,便将该租户的资源队列升级为高优先级资源队列,优先向该作业分配SLA保证资源来满足SLA中的最后期限。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910226671.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置