[发明专利]一种针对耦合气候分量模式程序的协同进程调度优化方法

说明书

本发明提供一种针对耦合气候分量模式程序的协同进程调度优化方法，涉及高性能计算技术领域，所述针对耦合气候分量模式程序的协同进程调度优化方法能够根据程序中各个分量在集群中的运行特征，快速设计出不同分量的运行资源分配方案。本发明，通过在有各分量加速比曲线的前提下，根据曲线的性能峰值从大到小排入分量运行排布中，每一次加入分量进行一次资源分配，减少性能曲线上梯度最小的分量资源，并增加到新加入的分量中，重复多次直至达到全局最优，在短时间内，根据集群特点快速设计出静态调度策略，使程序总体性能提升，从而减少模式程序运行时需要花费的时间，提高了计算效率，降低了集群的硬件需求。

技术领域

本发明涉及高性能计算技术领域，尤其涉及一种针对耦合分量模式程序的协同进程调度优化方法。

背景技术

诸如CESM、CAS-ESM、pccsm4等耦合分量模式实在气候、气象预测领域中最为常用的耦合气候模式，该类程序的计算是多分量计算过程，既可以每个分量单独运行，也可以将各个分量耦合起来，以合理的范式组合使用，由于不同的分量采用不同的计算网格与分辨率同时又需要其他分量的数据辅助计算，因此可以把这类程序的运行是将各个分量独立运行并发送中间结果给耦合器，耦合器将需要交换的数据进行转换再发送到各个分量，此外这些分量模式在自己领域内都可以作为一个独立模式来使用。

目前世界上的全球耦合气候模式程序，大多是借鉴了耦合分量模式的结构或直接以之为基础进行二次开发而来的，由于这种程序计算涉及到复杂的模块调用、模块内并行、模块间并行等并行计算问题，因此对集群的硬件性能要求较高，且由于数据吞吐量大，计算复杂性高，导致模式程序运行十分耗时，计算效率较低。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种针对耦合分量模式程序的协同进程调度优化方法。

为了实现上述目的，本发明采用了如下技术方案：一种针对耦合分量模式程序的协同进程调度优化方法，所述针对耦合分量模式程序的协同进程调度优化方法能够根据程序中各个分量在集群中的运行特征，快速设计出不同分量的运行资源分配方案。

优选的，包括以下步骤：

S1：根据加速比-并行度曲线的峰值性能所需运行时间从大到小排序，并按顺序存储到一个队列中；

S2：在S1中将按顺序存储到一个队列后，依照顺序依次分配剩下的资源；

S3：在S2中当某个分量没有足够的资源时，根据此层中非最高已分配分量的加速比曲线梯度削减资源补充给当前待分配分量，削减过程中如果调整后运行时间超过削减前运行总时间，则取消削减，将该分量排入运行条带中的下一层；

S4：在S2中，所有分量全部完成资源分配时，输出调度结果。

优选的，所述步骤S1中，加速比-并行度曲线需要先行手动测量。

优选的，所述步骤S3中，梯度为S1的中的数据计算出每个模块在每个并行度加/减核数导致的运行时间变化，由于存在大量并行度无法运行，梯度取((上一个可用并行度-下一个可用并行度)/间隔核数)。

优选的，所述步骤S3中，若待分配分量需要排入下一层，则将此分量做记号退回队列中，并取之后的分量在这一层分配。

优选的，所述步骤S3中，直到队列中所有分量都不能在此层分配，结束这一层的分配并开启下一层，从步骤S2开始分配资源。

优选的，所述步骤S3中，每次削减资源量为该层剩余可分配核数的百分之一取整且至少为1。

优选的，所述步骤S3中，削减量可以根据总核数动态调整。

优选的，所述步骤S4中，调度结果输出应在程序编译前完成。

与现有技术相比，本发明的优点和积极效果在于，