[发明专利]一种集群环境中基于分簇的节能调度方法

说明书

技术领域

本发明涉及一种计算机节能调度方法，特别是涉及一种支持集群系统环境中基于能量优化的并行任务调度方法。

背景技术

集群是一种并行分布式处理系统，由很多连接在一起的独立计算机组成，像一个单独集成的计算资源一样协同工作，对于用户来说就像一个独立的计算系统。自20世纪90年代以来，随着PC机性能的显著提高和价格的日益下降，高速网络的发展，以及集群软件的日益成熟，集群系统已经成为高性能计算的主流平台。

集群系统已经在工商业等诸多领域得到广泛而深入的应用。然而，高性能集群计算平台在提供强大的计算能力同时也消耗着巨大的能量。根据UN(Energy User News)报告，现今，集群计算中心能量需求从150W/ft2到200W/ft2，在未来几年将会增加到200-300W/ft2。根据美国环境保护总署报告，2006年，美国数据中心的总能耗是614亿KWh，2006年是2000年的两倍。能耗大是成为集群系统发展的瓶颈，急需得到有效的解决。

任务调度对于集群系统的性能是至关重要的，因为任务的不恰当调度会使得系统真正强大的计算能力得不到体现，并且可能会抵消掉并行化所带来的效果。

并行任务的调度问题一般可以抽象为经典有向无环图DAG(Directed Acyclic Graph)调度问题，它已经被证明是一个NP完全问题，因此主要采用启发式调度方法求解。基于不同的调度策略，这些调度方法主要可以分为三类：表调度方法，聚簇调度方法，基于任务复制的调度方法。有向无环图DAG调度的目标既要减少任务之间的通信代价，又要最大化任务之间的并行度。如果调度策略选取不当，可能会降低任务并行化所带来的效果。所以有向无环图DAG调度方法必须在任务间的通信总量和任务的并行度之间进行权衡。目前这三类方法及其国内外的现状如下：

一、表调度方法

表调度方法就是通过给每个任务分配一个优先级，并根据任务优先级确定一个调度列表，然后循环执行以下两步直到所有任务被调度完：

1、从调度列表中移除第一个节点；

2、把该任务调度到使它的启动时间最早的处理机节点上。

由于那些传统表调度方法的调度表是在任务调度之前就已经静态生成，而且生成的调度表在任务调度过程中不能改变，这样难免会造成在任务调度过程中那些本应该优先执行的任务节点因其优先级较低而久久不能执行的情况发生。鉴于该问题，近些年来人们提出了一种基于动态表调度的策略。该策略在每次分配一个任务后，都会重新计算所有未调度的任务节点的属性，然后重新安排调度列表中任务节点的次序。因此，这些方法实际采取下列三个步骤：

1、确定所有未被调度任务节点的新属性；

2、从新调度表中选择优先级最高的任务节点进行调度；

3、把该任务节点分配到使它的启动时间最早的处理机上。

二、聚簇调度方法

聚簇调度方法就是在调度的开始阶段，有向无环图DAG的每个任务节点都被认为是一个簇。在不增加整个任务总的完成时间的前提下，进行簇的合并，该合并操作直到所有簇合并完为止。聚簇方法假设有无限个虚拟处理机，充分利用足够多的处理机来最小化并行任务的调度长度。由于该调度方法总是假设有无数个虚拟处理机节点，但现实中处理机节点数量总是有限的，所以聚簇方法一般在合并簇完成后，有一个簇到现实处理机的映射过程。当然，映射完毕之后还要确定每个任务在各个处理机节点上的执行开销。根据簇中是否有独立任务，可以将聚簇方法分为线性聚簇和非线性聚簇两大类。目前的一些任意处理机节点、通信网络和异构系统结构的调度特别适合运用聚簇方法，因为聚簇调度方法具有阶段性的特性。当有向无环图DAG被分簇后，由于在任意处理机节点、通信网络和异构系统结构中，处理机节点的处理能力以及连接处理节点的网络数据传输速率均不同，所以簇到不同处理机的映射阶段，任务间的通信时间和任务计算所耗费的时间也会不同。现有的聚簇方法有EZ、LC、MD、DSC、DCP和EZDCP等。

三、任务复制调度方法