[发明专利]SLA感知的多租户大数据平台资源优先级调度方法及系统

说明书

本发明公开的SLA感知的多租户大数据平台资源优先级调度方法，包含以下顺序的步骤：S1.租户加入集群，资源管理器向其分配一个资源队列，租户上传作业到资源队列；S2.资源管理器根据租户的资源队列状态定期向SLA感知器发送作业运行报告；S3.SLA感知器根据收到的作业状态信息判断该作业是否能在最后期限前完成，不能在最后期限前完成的作业被设定为高优先级作业；S4.对于高优先级作业，SLA感知器将升级该作业所在的资源队列为高优先级资源队列，加速高优先级作业完成。本发明可以在一定程度上满足服务等级协议中的最后期限限制，保证了云服务供应商的服务质量。

技术领域

本发明涉及多租户大数据平台资源调度领域，特别涉及SLA感知的多租户大数据平台资源优先级调度方法及系统。

背景技术

大数据如今已在许多领域得到了广泛应用，随着云基础架构的不断扩展，一个大型的大数据集群可以同时为成千上万的用户提供服务。我们将使用同一大数据平台的用户称为租户，当数以万计的租户将自己的任务托管于云端时，不同的租户之间将不可避免的产生资源竞争，那么一些紧急任务的执行进度可能会因此产生延迟，甚至产生饥饿现象而导致任务失败。

Apache Hadoop作为最受欢迎的大数据平台之一，为多租户作业提供大数据资源的方法已广泛的应用于工业界。近年来，随着Hadoop集群规模的增大以及对外服务的扩展，在Hadoop2.0发布之后，继承于MapReduce1.0的YARN成为了Hadoop2.0通用的资源管理平台。YARN作为第二代Hadoop的关键特性之一，为大规模的集群提供了资源管理和调度策略。除了MapReduce，新的Hadoop实现还支持其他类型的编程模型，如图形处理和迭代建模，一些可以在YARN中运行的应用程序比如Tez，Hive和Spark，它们都使用Hadoop文件系统(HDFS)。对于已经拥有Hadoop集群且所有企业数据都存储在HDFS中的公司而言，这是一个很大的优势。

YARN提供三种调度方法，即先进先出(FIFO)调度器，容量调度器(CS)和公平调度器(FS)。顾名思义，FIFO的设计不支持优先作业调度。CS是由雅虎开发的，它是Hadoop YARN的默认调度程序。其目标是将固定的资源部分限制到不同的作业队列，并且每个队列中的作业可以使用其中的指定资源。FS调度程序由Facebook提出，其算法倾向于使用较低百分比的资源供应作业队列，除非系统管理员手动分配资源给不同的作业队列，否则所有作业队列最终可以平等地共享资源。CS和FS都是自YARN首次亮相以来在各种环境中常用的调度策略。通过CS和FS可以便捷的设置资源的分配。他们可以使用预定义的资源部分将作业分配给各种作业队列，这在某种程度上非常有限的提供优先级调度。通常，作业队列及其关联资源的配置因不同的Hadoop环境而异。此外，在多租户环境中，无论作业队列和资源的配置如何，CS和FS都无法确保快速执行具有高优先级的作业。

然而，当在Hadoop的多租户环境中使用服务级别协议(SLA)时，租户之间的资源竞争在服务质量(QoS)供应方面有着许多挑战。在多租户环境中，由于底层设备不可避免的出现故障，服务提供商满足服务级别协议(SLA)中指定的最后期限(Deadline)尤为重要。目前通常的解决策略是将高级的SLA转换为一组低级的QoS规则，而在Hadoop多租户大数据平台上使用YARN的调度策略显然无法完全满足SLA。如何在保证集群资源利用率的基础上满足SLA，成为了服务供应商面临的一个问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供SLA感知的多租户大数据平台资源优先级调度方法，通过感知作业的完成期限，对即将超时的作业进行加速处理，可以满足SLA中的最后期限(Deadline)保证，在一定程度上保证了大数据平台的QoS。

本发明的另一目的在于提供SLA感知的多租户大数据平台资源优先级调度系统。

本发明的目的通过以下的技术方案实现：