[发明专利]一种适用于大规模集群的MPI并行程序负载问题三维可视化分析方法

说明书

技术领域

本发明涉及一种适用于大规模集群的负载问题的定位方法，更特别地说，是指一种采用三维可视化分析方法对大规模集群的MPI并行程序负载问题进行定位处理。

背景技术

大规模集群是指CPU核心数超过1000以上的分布式计算机系统。随着大规模集群的不断涌现和并行应用的快速发展，对大规模并行程序的设计也提出了更高的要求。大规模并行程序，并行运行在一千个以上节点的并行系统上，执行过程复杂以及具有不可预见性，使得并行程序的实际性能与预期的性能往往有很大的差距，而并行计算的目的就是获得比程序串行执行更好的程序性能，如何充分发挥高性能计算机系统的效能，是并行程序设计者必须要考虑的事情。并行程序的执行与并行计算环境的各个组成部分，并行程序本身的设计以及它们之间的匹配程度，包括硬件体系结构、操作系统、程序设计语言、编译器、程序算法、消息传递库等各种要素的交互影响，使得获得好的并行计算性能成为程序设计者所面临的巨大的挑战。程序执行过程中的负载不平衡问题严重影响并行程序的执行性能，影响高性能计算机系统的效能发挥。

负载平衡是指在并行系统中使各个节点尽量均衡地分配工作任务的技术，通过在处理机之间均衡地、合理地分配任务，以获得最大可能的执行速度。在大规模集群（clusters）系统中，一个大任务通常被划分为不同的子任务，而后被分配到每个处理器节点并行执行。考虑到硬件性能、网络带宽、CPU利用率和内存利用率等方面的问题，程序在执行过程中，可能出现一些进程较早完成某阶段任务而处于空闲等待状态，而另外一些进程则需要很长时间才能完成所分配的任务。这就产生了负载不平衡现象，从而造成执行程序的总进程时间的延长（总进程时间记为T_total）。

负载不平衡IB主要表现在执行程序的各个进程时间上的开销，则某一个进程的总进程时间（ID表示进程的标识）的开销表达为其中表示进程间通信的时间开销，表示进程用于计算的时间开销，表示进程用于处理输入输出的时间开销。

MPI（Message Passing Interface）并行程序依据进程间的通信分为阻塞通信BC、非阻塞通信NBC、集合通信COC及单边通信OSC；MPI并行程序依据输入输出分为阻塞读BR、非阻塞读NBR、阻塞写BW及非阻塞写NBW。所述阻塞通信BC是指进程调用阻塞通信函数后，一直等到接收方成功接收消息，通信操作完全结束才返回。所述非阻塞通信NBC是指不必等待通信操作完全完成便可以返回，该通信操作可以交给特定的通信硬件去完成，在该通信硬件完成该通信操作的同时，处理机可以同时进行计算操作，实现计算和通信的重叠。所述阻塞通信BC和非阻塞通信NBC都是一对一的通信。所述集合通信COC是指特定的组内的所有进程参加通信，涉及多个发送方或者多个接收方，形成一对多、多对一或者多对多的通信方式。所述单边通信OSC，也称远程存储访问，即直接对非本地的存储空间进行访问，它的最大特点是无需对方进程的参与通信。所述阻塞读BR是指进程调用阻塞读函数后，一直等到读操作完全结束才返回。所述非阻塞读NBR是指不必等待读操作完全完成便可以返回，该读操作可以交给特定的硬件去完成，在该硬件完成该读操作的同时，处理机可以同时进行计算操作，实现计算和输入输出的重叠。所述阻塞写BW是指进程调用阻塞写函数后，一直等到写操作完全结束才返回。所述非阻塞写NBW是指不必等待写操作完全完成便可以返回，该写操作可以交给特定的硬件去完成，在该硬件完成该写操作的同时，处理机可以同时进行计算操作，实现计算和输入输出的重叠。

为了实现MPI并行程序的负载平衡，在MPI并行程序设计时，需要性能分析工具，辅助程序设计者了解并行程序执行行为，定位负载问题所在，从而优化程序，使得每个进程所分配的任务能在大致相同的进程时间内完成，达到负载平衡，提高MPI并行程序的运行效率。

目前，性能分析工具一般采用数据挖掘技术，并结合调用图、柱状图、堆栈条形图等多种二维图示方法，向用户展示MPI并行程序性能数据。但二维图形内容只有水平的X轴与垂直的Y轴，因此显示的内容有限，且不能较好的展示性能数据的分布特征和相互间的关系。

发明内容

本发明的目的是提供一种大规模并行程序负载问题三维可视化分析方法，对并行程序的轮廓数据进行函数过滤，建立两级函数分组，统计各级分组的时间开销，计算子分组和父亲分组的负载相似度，以三维图形的方式向用户展示并行程序的计算结果，帮助用户快速准确定位并行程序的负载问题。

本发明是一种适用于大规模集群的MPI并行程序负载问题三维可视化分析方法，其特征在于：该方法包括有下列步骤：