[发明专利]一种基于单节点模拟的大规模并行系统模拟方法

说明书

本发明提出一种基于单节点模拟的大规模并行系统模拟方法，包括如下步骤：步骤1、首先将大规模并行程序以期待的进程规模和问题规模，在现有的计算系统或者云平台中运行，在程序运行的过程中，采集运行信息；步骤2、在采集完支持单个进程运行的必要信息后，用户指定欲模拟的目标高性能计算机的配置；步骤3、用户选择部分欲模拟的进程，并指定进程‑‑节点分布，将这些进程和节点信息输入配置，在本地宿主机集群启动并行系统模拟系统；步骤4、用户在并行系统模拟系统中启动并行程序，在执行过程中，在同一个节点内执行的进程的计算过程、进程调度、进程对资源的竞争由单节点全系统模拟实例精确模拟。

技术领域

本发明涉及一种大规模并行计算系统的模拟方法和模拟器系统结构，特别涉及可以让研究人员在目标硬件不具备的情况下高效模拟执行大规模并行程序中部分进程的方法以及模拟器系统结构。

背景技术

系统结构模拟器在计算机系统设计和实现的过程中有非常重要的作用。在设计初期可以通过粗粒度的功能模拟来确定系统的设计方案；在系统开发过程中，可以通过细粒度的时钟精确的模拟来进一步完善微结构的设计；同时也可以同步进行目标系统的系统软件开发，加快系统开发速度；在软硬件同步研发的过程中，可以通过模拟器对目标系统进行性能预测和评价，为优化系统的软硬件设计和实现提供帮助。

近年来，随着工艺水平和体系结构技术的发展，高性能计算机系统的性能不断提高，伴随着系统性能的提高，高性能计算机系统的规模也迅速增长。巨大的系统规模和异构系统的复杂性使高性能计算机的研制周期与成本显著增加。为了缩短周期和降低成本，研发人员更需要在真实系统完成之前使用系统模拟技术对目标系统进行系统、全面的分析。同时，软件设计人员也可以在高性能目标系统尚不具备时，利用模拟器进行系统软件和大规模并行应用程序的调试和性能调优。

目前针对大规模并行系统的模拟方法，学术界和工业界都已经给予了充分的关注，并提出了多种解决方法。现有的解决方法主要可以分为两类：(1)使用基于目标节点的小规模集群系统的方法，(2)使用传统体系结构模拟器的方法。使用基于目标节点的小规模集群系统的方法需要目标系统的少量部分节点，在该小规模集群系统中模拟并行程序在目标系统的运行特征。因为是直接使用目标系统的部分节点，所以无需对目标系统的微体系架构进行建模，可以简化模拟方法的设计。根据具体的实现原理可以将这类方法区分为两个子类，分别是基于执行驱动的模拟方法以及基于踪迹驱动的模拟方法。踪迹驱动模拟方法首先在一个已存在的高性能平台或云平台获取大规模并行程序每个进程的执行踪迹数据(例如计算踪迹、通信踪迹、I/O踪迹等)，将其保存并作为模拟器的输入，将进程的踪迹依次在小规模集群系统中重放来模拟目标系统的功能和行为，以获取程序在目标系统中的性能数据。执行驱动模拟方法的输入是目标系统的二进制文件，可以完整执行大规模并行程序。这类方法通常是在小规模集群系统中以完整进程数规模执行并行程序(每个节点运行的进程数远高于目标系统中每个节点的进程数)，在执行过程中捕捉关键事件点(例如进程切换、通信操作、I/O操作等)，并对这些事件点依据目标系统的配置建模，模拟程序在目标系统中的执行过程，以获取程序在目标系统中的性能数据。使用传统体系结构模拟器的方法利用当前纯熟的系统结构模拟器，组装成并行计算系统模拟器。例如组装全系统模拟器、微体系结构模拟器、内存模拟器、网络模拟器、I/O模拟器等，形成目标并行计算系统模拟器。当并行程序在模拟器中执行时，各组件分工模拟程序的计算操作、访存操作、网络操作、I/O操作等。