[发明专利]一种减少资源竞争的Trace文件转储方法

说明书

技术领域

本发明涉及一种在机群中踪迹文件(即Trace文件)转储的方法，更特别地说，是指一种减少资源竞争的踪迹文件转储方法。尤其涉及在使用Infiniband(译文，无限带宽)网络和Lustre(译文，光泽文件系统)系统的机群环境下，TAU(Tuning and Analysis Utilities，译文，调试分析工具)软件的转储过程。

背景技术

机群是互相连接的多个独立计算机的集合，这些计算机可以是单机或多处理器系统，如PC或工作站等，每个结点都有自己的存储器、IO(Input/Output，译文，输入输出)设备和操作系统。机群对用户和应用来说是一个单一的系统，它可以提供低价高效的高性能环境和快速可靠的服务等。

Infiniband网络是新一代服务器I/O和机群内部通信工业标准网络结构。由链接、交换机、CA(Channel Adaptor，译文，通道适配器)和终端节点组成。其拥塞控制使用ECN(Explicit Congestion Notification，译文，明确拥塞通知)方法，即在报文头中有一位专门用来表示网络拥塞与否。参见图1所示，Infiniband网络与终端节点相连的CA又被称为HCA(Host Channel Adapter，译文，宿主通道适配器)，所述HCA提供了使用Infiniband网络的软件接口。

Lustre系统是专为机群设计的并行文件存储系统。参见图1所示，Lustre系统由一个MDS(Metadata Server，译文，元数据服务器)、数个OSS(Object Storage Servers，译文，对象存储服务器)组成，其中，MDS负责文件名、文件路径管理，并响应存储请求，为请求分配OSS；OSS负责文件内容存储，存储的单位是条带。

TAU是可移植的并行程序性能概要和踪迹分析工具。在被监控程序运行时，TAU工具将产生踪迹数据，并记录到文件系统中。当今机群系统中，大部分数据被写入以Lustre系统为代表的并行文件中。

近年来，随着机群规模的增长，高效的并行程序越来越依靠性能分析软件。性能分析软件为了获得运行事件信息，此信息被称为踪迹，踪迹被存储到文件系统供事后分析。目前，数据的存储，数据采集工具多使用并行文件系统，最重要是Lustre系统，程序运行和文件转储多共享高性能网络，主要是Infiniband网络。由于程序和数据采集竞争系统的网络和IO资源，这些竞争将会影响踪迹文件转储的传输速度。

发明内容

本发明的目的是针对现有数据采集程序与被TAU监控的程序相互竞争系统资源，导致插桩后程序运行时间过长，测量得到的数据受到资源竞争的影响，不能完整还原实际程序运行过程的问题。本发明采用一种对Infiniband网络和Lustre系统拥塞信息进行主动、被动探测相结合，在无拥塞时进行转储的竞争避免方法。

为实现上述目的，本发明提供如下技术方案：在基于Infiniband网络和Lustre系统中，所述Lustre系统包括有I/O信息统计节点(4)、第一个I/O信息被动收集节点(1)、第二个I/O信息被动收集节点(2)和第N个I/O信息被动收集节点(3)。所述Lustre系统中的OSS节点上运行存储信息收集服务S1，产生有IO拥塞信息MDS节点运行存储信息收集服务S1，收集所述的构成收集-拥塞信息IO_总；

当程序执行节点中(5、6、7)的TAU产生的踪迹数据file需要写入时，文件转储服务S3发出主动探测包request_T给Lustre系统的MDS节点；然后，MDS节点将收集-拥塞信息IO_总以数据包MD_T形式反馈给Infiniband网络拥塞探测服务S2；Infiniband网络拥塞探测服务S2一方面提取出收集-拥塞信息IO_总传输给文件转储服务S3，另一方面采用拥塞判断条件R-F获取当前的Infiniband网络的拥塞情况C_inf＝{a,b}，并将所述的C_inf＝{a,b}传输给文件转储服务S3；a表示网络拥塞，b表示网络不拥塞；