[发明专利]一种面向集合预报应用的两层动态调度方法

说明书

技术领域

本发明涉及一种基于网格技术的动态调度方法，特别涉及一种面向集合预报应用领域的动态调度方法。

背景技术

数值天气预报是气象业务运行中必不可少的方法，它是在给定初始条件和边界条件的情况下，根据大气运动的物理定律，数值求解大气运动基本方程组来预测未来时刻的大气状态过程。普通的数值天气预报流程包括观测资料预处理，气象资料变分同化，模式预报，后处理，产品可视化等，这些任务特别是模式预报任务需要用到大量的高性能资源进行数值模式计算。集合预报是解决因普通数值天气预报的初始条件不确定性和模拟过程的近似性问题而提出的新兴数值天气预报技术，与普通数值天气预报相比，集合预报通过气象资料变分同化以后，增加初始扰动任务，该任务产生多对初值样本，并且每对初值样本都需要进行模式预报，而模式预报是数值天气预报计算规模最大的任务，每次模式预报都需要大量的CPU计算资源。因此集合预报的计算规模将是普通数值预报的几十甚至上百倍(相关于初始扰动所产生的初值样本数目)。

集合预报应用具有以下特点：

1.集合预报应用计算量巨大，集合预报应用的工作流程非常复杂，特别是由初始扰动产生超过50对甚至100对以上的初值样本，每对初值样本都需要进行模式预报，而一次模式预报是具有规模很大的并行程序，需要大量的高性能计算资源，且计算时间一般很长。

2.集合预报中的模式预报间可以独立并发执行，即每次模式预报可以独立在不同的机器上去执行；

3.单次集合预报应用的时效性非常重要，否则会失去天气预报的现实意义；

4.处于初始扰动后的模式预报程序的并行度和加速比不是随CPU资源数目N(N一般取2的幂次数)的简单线性增长。模式预报程序并行度一般首先随N的增大而增加，达到一定数目后(与选择的预报区域大小和预报时制有关)，其并行度又会下降；虽然加速比随N值扩大而不断增加，但是其增加的缓和度与并行度存在一种关系的：即一开始，并行度随N值增加时，其加速比增速较大，随着并行度达到最大值，加速比的增速也最大；当N增加到一定值时，其并行度达到最大，

此时N值继续增加时，并行度开始下降，此时加速比增速将趋于缓和。

根据以上集合预报应用的特点，易知集合预报非常适合使用分布式的网格工作流技术来解决，并且当初值样本数目很大时，单个网格节点很难满足集合预报的计算需求，如果顺序地执行这些模式预报程序，将会极大影响集合预报的时效性。因网格高性能计算节点环境的动态变化和模式预报并行程序本身的并行度与加速比趋势特征，采用静态的或者单纯的网格节点间的调度手段是无法满足集合预报应用需求的，需要使用动态的方式来合理安排对这些模式预报任务的并发执行，以提高整个集合预报的时效性；同时需要考虑模式预报并行程序的特征，每次合理地指定合适的CPU资源数目，尽量在不影响集合预报时效性的同时降低计算成本。

在网格计算领域，独立多任务调度方法是指各任务之间不存在数据或者控制相关，每个任务都可以被分配到网格节点中单独执行，传统的方法包括Min-Min调度方法，Max-Min调度方法，DupLex调度方法，Sufferage调度方法等。

独立多任务的调度算法中，Min-Min调度方法主要步骤包括：

步骤1：针对应用中的每个任务，预先估计每个网格节点执行该任务的时间，并选择执行时间最小的网格节点；

步骤2：从每个网格节点中，选择预期运行时间最小的任务优先执行。

Max-Min调度方法与Min-Min调度方法在步骤2刚好相反，在每个网格节点中，选择预期完成时间最大的任务优先执行，该调度方法适合于各任务执行时间相差较大的场景，优先将长任务分配到较好的网格节点中优先执行，能够为应用获得较好的完成时间。

DupLex调度方法则是Min-Min调度方法与Max-Min调度方法的综合，其首先分别基于Min-Min调度方法和Max-Min调度方法预估应用各自调度方法的可能执行时间，然后选择执行时间较优的一种调度方法来执行。

Sufferage调度方法是优先选择可能损失较大的任务执行(如果该任务不分配到该计算节点)，其主要步骤包括：

步骤1：对每个任务，预估其被分配到每个网格节点的执行时间；

步骤2：计算每个任务相应的Sufferage值，即由步骤1所计算的次小执行时间与最小执行时间的差值；

步骤3：对每一网格节点，优先选择Sufferage值较大的任务执行。