[发明专利]高性能计算机工作流调度的性能计算方法、系统及介质

说明书

本发明公开了一种高性能计算机工作流调度的性能计算方法、系统及介质，本发明包括初始化集合X及可开始运行任务的集合Y，然后迭代：若X的任务v_i的终止时间等于变量k则更新X和Y；若Y非空则选择任务的集合Z，更新其中任务的起始时间为k并加入X中，针对X中的任务计算第k阶段的预估结束时间并将最短的预估结束时间作为第k阶段的完成时间；重复迭代直至X和Y均为空输出各个阶段完成时间的总和作为工作流的总完成时间。本发明能够实现高性能计算机工作流调度的性能量化计算，以快速确定工作流调度运行过程中各变量对工作流调度性能影响，从而可方便确定最佳工作流调度性能所需的最小资源数量。

技术领域

本发明涉及高性能计算机的工作流调度技术，具体涉及一种高性能计算机工作流调度的性能计算方法、系统及介质。

背景技术

工作流(科学工作流)是实现各种科学研究目标而定义的任务序列。在面向服务的体系结构开发及其松耦合特性推动下，工作流已经在当前的分布式和动态环境中成为一种关键技术。工作流在描述复杂科学问题时具有突出的优势，这使得它通常用于解决生物信息学、天文学和物理学等领域的大规模科学问题。具体而言，工作流通常由多个具有严格依赖关系的独立的计算任务组成。有向无环图是表示工作流的有效工具。如图1所示，图中的节点表示工作流中的独立任务，有向边则表示任务间的依赖关系。节点的权重表示该任务需要的计算资源数量(核心数或节点数)，有向边的权重表示两个任务之间的数据依赖关系。例如，参见图1，其中的任务v₁的权重2表示任务v₁需要使用2个计算资源(2个核心或2个计算节点)，从任务v₁到任务v₃的有向边表示任务v₃需要在任务v₁之后开始运行，并且需要读取任务v₁生成的10GB的数据。

工作流调度的目的是在满足用户需求和资源提供者管理指标的同时，保持计算系统良好的整体性能或吞吐量。对于单个工作流，最小化工作流的完成时间是一个普遍的调度目标。对于给定工作流，其完成时间越短，则工作流调度性能越高。为工作流分配的计算和I/O资源数量以及调度策略都会影响工作流的调度性能。近年来，随着大规模高性能计算机的并行性能不断提高，高性能计算机逐渐成为工作流的重要运行平台。在高性能计算机上调度工作流的场景较为复杂。图2展示了在高性能计算机上调度工作流的场景。首先在高性能计算机上开辟一个临时的独立资源分区，工作流中的所有任务都在该分区内运行，其中分区内的资源总数应大于任何一个任务的资源需求。每个工作流任务作为一个单独的批处理任务在合适的时间点提交到高性能计算机上运行。共享文件系统是任务间数据传输的存储介质，每个工作流任务从共享文件系统中读取数据并向共享文件系统中写入数据。在工作流的运行过程中，同时运行的不同任务之间存在I/O干扰，且该资源分区对文件系统的读写速率可能随时间变化。突发缓冲区是为了满足用户对更好的I/O性能的要求所提出的一种存储技术。采用突发缓冲区可以提高应用程序可用的总带宽。因此，对于拥有一定突发缓冲区容量的高性能计算机，根据突发缓冲区容量大小，可以允许部分任务或者全部任务使用突发缓冲区以提高应用的I/O效率。当一个任务被允许使用突发缓冲区时，它的所有输出都被定向到突发缓冲区。但对于每一个任务而言，该任务从何处(共享文件系统或突发缓冲区)读取数据取决于其前序任务是否使用了突发缓冲区。由此可见，在高性能计算机上调度工作流的场景十分复杂，目前缺乏一种有效的工具以研究工作流调度运行过程中各变量对工作流调度性能影响，特别是各调度策略对工作流调度性能的影响。此外，对于给定工作流，很难确定达到最佳工作流调度性能所需的最小资源数量。因此，如何实现高性能计算机工作流调度的性能计算，已成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种高性能计算机工作流调度的性能计算方法、系统及介质，本发明能够实现高性能计算机工作流调度的性能量化计算，以快速确定工作流调度运行过程中各变量对工作流调度性能影响，从而可方便确定最佳工作流调度性能所需的最小资源数量。

为了解决上述技术问题，本发明采用的技术方案为：