[发明专利]多级调度系统

说明书

技术领域

本发明涉及网络技术，尤其涉及一种在集群系统中的多级调度系统。

背景技术

高性能计算一直是国内外科技界，甚至政府十分重视的高科技领域。它不仅同科学技术与国民经济的发展密切有关，而且还直接影响到国家的国防能力和国家安全。在近年来出现的支持高性能计算的计算机系统中，集群系统作为一种易扩充、性价比高的方案得到广泛采纳。应用程序的需求是无限的、不断变化的，集群系统可以有效地支持更广泛的工作负载。2007年11月在国外权威网站上公布的TOP500高性能计算机中，集群系统占据了81.20％。

在集群系统中，良好的调度可以高效利用集群资源，使集群中全部汇集起来的处理能力高效地在众多用户间分配。作业调度是一个很复杂的问题，调度算法是一个应用相关(Application-specific)的问题，具体应用的特性在很大程度上影响和决定着调度系统的性能。调度系统对于不同类型的应用应当采用不同的调度策略，只有在充分考虑作业及资源特性的基础上提出的调度算法才能够获得较高的系统性能。要想在并行化能力上有较大提高，则必须付出昂贵的硬件代价和设计出复杂的算法。

并行作业调度中最主要的两个算法是Backfilling算法和Gang调度算法。Backfilling算法是FCFS算法的改进，它允许调度器不按作业到达顺序运行，当资源无法满足前面大作业的运行要求时，它让一些小作业先运行在当前空闲的处理器上(称为回填)以提高资源利用率。后来很多算法在其基础上进行了改进，出现了EASY(Extensible Argonne SchedulingsYstem)Backfilling算法、保守Backfilling算法和基于Backfilling算法的“扩履适足”的改进算法。

Gang调度的思想是将作业作为一个整体进行调度。每台机器上为作业提供一个相同的环境，一个作业的所有进程一起运行。Gang调度算法是基于并行程序间会有频繁的同步而提出的，避免各并行进程由于运行步调不一致而等待所造成的等待时间。成对Gang调度算法、缓冲协同调度算法是对Gang调度算法的改进。

还有很多其他调度算法，如BestFit算法、自适应算法、遗传算法、基于经济学的资源调度算法和基于QOS的调度算法等，每个算法都有自己的优缺点，满足特定的应用需求。如此而言，上述算法的一个共同的缺点就是通用性不高，都仅局限在一个局部领域。

发明内容

本发明旨在提出一种具有较高的通用性的集群系统的调度技术。

根据本发明，提出一种多级调度系统，应用于集群系统中，包括：

全局调度器，监控集群系统的全局流量；

一组局部调度器，一组局部调度器都连接到所述全局调度器，每一个局部调度器监控集群系统中一个局部的局部流量；

一组组调度器，每一个局部调度器连接到数个组调度器，每一个组调度器连接到集群系统中的数个节点，数个节点属于集群系统中的同一个局部，形成一个组；

节点流量监控器，连接到集群系统中的每一个节点，监控节点的流量，与组调度器相连的节点的节点流量监控器同样连接到该组调度器；

其中，当一个节点的流量监控器检测到该节点的流量超过第一流量阈值，则报告其所连接的组调度器，该组调度器在所连接的数个节点中进行流量调度；

当一个组调度器检测到所连接的数个节点所形成的组的总流量超过第二流量阈值，则报告其所连接的局部调度器，该局部调度器在所连接的数个组中进行流量调度；

当一个局部调度器检测到一个局部的总流量超过第三流量阈值，则报告全局调度器，全局调度器进行全局流量调度。

全局调度器、局部调度器、组调度器的流量调度基于下述参数进行：处理时间、硬件资源、已存在负载流量。全局调度器、局部调度器、组调度器流量调度还根据业务流量的优先级进行。

其中，第一流量阈值为单个节点满负载流量的80％，第二流量阈值为一个组的满负载流量的85％，第三流量阈值为一个局部的满负载流量的90％。

本发明的多级调度系统具有较高的通用性，适用于集群系统，能够针对绝大多数的业务流量进行有效的调度，提高集群系统的工作效率。

附图说明

图1是根据本发明的多级调度系统的结构图。

具体实施方式

参考图1所示，揭示了根据本发明的多级调度系统的结构图。该多级调度系统应用于集群系统中，包括四个层次，分别是：全局调度器10、局部调度器20、组调度器30和节点流量监控器40。