[发明专利]运行于RDMA通信环境的并行应用通信性能预测方法

说明书

本发明提出运行于RDMA通信环境的并行应用通信性能预测方法，用于预测采用RDMA技术的并行应用的通信性能。该方法首先构建了RDMA技术下的点对点通信性能模型，保证通信性能模型对目标并行应用的适用性；随后分析需要进行通信开销预测的并行应用，利用通信时序代替真实通信过程，确定刻画该应用的通信所需的网络性能参数，并设计所需网络性能参数的测量过程进行测量，最终根据通信时序与网络性能参数计算出应用通信的理论开销，实现对并行应用通信的预测。该方法在较短的时间内较为准确预测并行应用通信性能，适用于使用RDMA技术通信的并行应用。

技术领域

本发明涉及通信性能预测技术，尤其涉及一种运行于RDMA通信环境的并行应用通信性能预测方法。RDMA(Remote Direct Memory Access)指远程直接内存访问。

背景技术

RDMA(Remote Direct Memory Access)技术全称远程直接内存访问，这种消息传递方式允许数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这种方式消除了数据包在用户空间和内核空间复制移动和上下文切换的开销，构建了高吞吐、低延迟的网络通信，从而将CPU与内存带宽应用于提升系统的整体效率上。目前有3类网络架构支持RDMA技术，分别是InfiniBand，RoCE与iWARP。随着数据传输需求的不断增长，各类应用对于硬件处理能力有着更高的要求，RDMA的零拷贝、高带宽、低延迟等特性能够更好地满足现今各类复杂应用的通信需求。例如目前应用广泛的深度学习、语音识别、自然语言处理等机器学习任务已经大范围应用RDMA集群，提升工作效率。

RDMA能够有效提升需要进行大量通信的并行应用的运行效率。不过，并行应用可能存在很长的运行周期，从而在一定的运行环境中减少运行开销是提升工作效率中重要的步骤之一。随着并行应用规模的不断增大，通信所需时间在应用整体运行开销中占比不断提升，因此优化应用的通信性能也成为优化应用整体性能的重要环节之一。性能优化方案通常是一个迭代的过程，通过应用真实执行获取应用的运行效率会大大增加时间开销，在某些情况下不可接受。相比之下，应用通信性能预测提供了一种高效且低开销的评价手段，能够显著降低通信性能优化方法设计的成本，已逐渐成为应用通信性能优化方案评价的主要手段之一。

目前，在采用RDMA技术的网络环境中运行的并行应用仍缺少高效率高准确度的并行应用通信性能预测方法。网络通信性能的刻画与分析已有周期精准系统模拟、离散事件模型、点对点通信模型等方法，其中基于点对点通信模型的通信预测方法是兼顾了刻画效率与准确度的实用方法。其中，以LogGPS模型为基础的LogGOPSim模拟器结合了完整的MPI消息匹配语义和集体操作，给出高准确度的预测结果。对于RDMA技术形成的通信环境，由于通信方式的变化，现有的并行应用通信性能预测方法往往不能够直接应用于该网络环境中。

发明内容

针对上述方法中所存在的问题，本发明提供运行于RDMA通信环境的并行应用通信性能预测方法，用于预测采用RDMA技术的并行应用的通信性能。该方法首先构建了RDMA技术下的点对点通信性能模型，保证通信性能模型对目标并行应用的适用性；随后分析需要进行通信开销预测的并行应用，利用通信时序代替真实通信过程，确定刻画该应用的通信所需的网络性能参数，并设计所需网络性能参数的测量过程进行测量，最终根据通信时序与网络性能参数计算出应用通信的理论开销，实现对并行应用通信的预测。该方法在较短的时间内较为准确预测并行应用通信性能，适用于使用RDMA技术通信的并行应用。

本发明的技术解决方案如下：

运行于RDMA通信环境的并行应用通信性能预测方法，其特征在于，包括以下步骤：