[发明专利]通信轨迹扩展方法及装置、通信轨迹驱动模拟方法及系统

说明书

技术领域

本发明涉及通信轨迹驱动模拟领域，特别涉及一种通信轨迹扩展方法及装置、通信轨迹驱动模拟方法及系统。

背景技术

高性能计算机实现的大规模应用，会使用10⁵数量级的处理器(计算核心)。基于大规模系统级并行模拟平台、通信轨迹驱动(Trace-driven)的高性能计算机体系结构模拟，首要问题是获取大规模应用的通信轨迹(Trace，又称为记录)。但是，高性能计算机资源有限，很难获得其使用权；对于那些在研的目标机，根本不可能通过直接运行应用获取通信轨迹。

编程模型在计算机和应用之间起到承上启下的作用--向上为应用提供使用底层高性能计算机的方式，向下为计算机提供应用的行为特征。编程模型使用机器系统的用户级通信原语(通信抽象)实现，后者可以由硬件直接支持，也可通过操作系统或者特定机器的用户软件支持。编程模型或者镶嵌在并行编程语言中，或者实现于编程环境中，能够完成一般语言结构到特殊硬件的映射。利用编程模型，把应用映射到高性能计算机，需要遵循一定的并行算法设计方法。在高性能计算领域使用最广泛的是消息传递编程模型，而消息传递接口(MPI，Message Passing Interface)已成为事实上的消息传递编程标准。

设计应用的并行算法，一般遵循如下步骤：(1)划分：将整个计算分解成多个更小的任务，其目的是寻找更多的并行性；(2)通信：确定诸任务执行中所需交换的数据，并协调诸任务的执行，由此检测划分的合理性；(3)组合：按性能要求和实现的代价考察前两个阶段的结果，必要时可将小任务组合成更大的任务以提高性能或减少通信开销；(4)映射：将每个任务分配到处理器上，目的是最小化全局执行时间和通信成本，以及最大化处理器利用率。其中在前期主要考虑如最大并发度等与机器无关的特性，在后期才会考虑到与机器有关的特性。设计的第一和第二阶段关注的是并发性和可扩展性，并寻求开发出具有这些特性的算法；在设计的第三和第四阶段，才把注意力转移到局部性和别的性能有关的问题上。由此可见，并行程序设计需要考虑到应用规模、机器规模、进程不同以及每个进程的运行过程等四个因素，他们相互正交共同决定程序结构复杂度空间。显然，应用程序运行产生的通信轨迹会也随着问题规模、机器规模变化而变化，单次运行中每个进(线)程的通信轨迹不同，而且单进(线)程的通信轨迹具有一定变化规律。

MPI是消息传递编程模型的一种规范，实现为特定语言的通信库。MPI功能强大，可移植性和通信性能好，且容易理解和学习，已成为消息传递编程模型事实上的标准。

MPI程序属于单程序多数据并行计算(SPMD，Single Program Multiple Data)类型，所有进程执行相同的代码，每个进程根据进程总数和源进程号实现控制和计算过程。由于进程间通信开销相对较大，因此并行算法设计总是尽量减少进程间通信次数和通信数据长度、做到计算本地化，但由于数据和控制相关性，不同进程间总会产生通信，产生不同的通信轨迹内容。

为了分析MPI应用程序通信规律和性能，可记录程序运行过程中调用的各种通信函数。当前，已有许多项目对应用程序的通信行为进行研究。

ScalaTrace利用stencil编码的特点，实现了MPI通信轨迹的可扩展压缩和回放。ScalaTrace认为Stencil编码中代表部分逻辑的单进程总是从特定状态开始，与其近邻交互并更新状态，直到系统达到稳定。ScalaTrace实现步骤如下：(1)提取MPI程序各进程的通信函数轨迹；(2)寻找单进程内部通信轨迹的重复规律，用RSDs(Regular Section Descriptors)和PRSDs(Power-RSDs)描述；并对进程进行非位置依赖处理--之后，某些进程的通信轨迹完全相同。(3)接着各个进程处理后的通信轨迹，删除重复的通信轨迹，减少通信轨迹量。(4)最后获得无损压缩后的通信轨迹。但是，由于ScalaTrace只分析局部通信轨迹的变化规律，而通信轨迹重复的规律与进程数有关，因此ScalaTrace不能适应进程数变化的情况。