[发明专利]多对多通信模式的优化方法、装置、存储介质及电子设备

说明书

本发明提供了一种多对多通信模式的优化方法、装置、存储介质及电子设备，涉及通信技术领域，所述方法包括：将所述多对多通信模式分解为依次执行的两个以上子多对多通信；其中，每个所述子多对多通信具有预先确定的点对点通信关系，且每个所述子多对多通信在执行该预先确定的点对点通信时，具有最小的预测通信开销。本发明提供的技术方案，能够大幅提高多对多通信模式的通信效率。

技术领域

本发明涉及通信技术领域，特别地涉及一种多对多通信模式的优化方法、装置、存储介质及电子设备。

背景技术

很多计算机应用程序所处理的问题规模快速扩大，导致计算量飞速增长。因此，需要开发这些应用程序的并行版本，通过利用高性能计算机的众多处理器核，来大幅加速计算。并行版本的研发通常需要实现程序在多个进程上的并行运行与协作计算，支持进程间数据通信的消息传递接口（Massage Passing Interface，MPI）是并行程序研发的基本工具和编程规范。

由于高性能计算机内通信网络的数据传输速率通常远慢于处理器的计算速度，通信开销便成为影响甚至决定应用程序并行效率和并行可扩展性的最重要因素。根据通信网络的特点，通信开销通常由建立通信链路的开销和传输数据的开销两部分组成，这使得通信效率（通常采用单位时间内通信的消息大小来量化）常受到消息大小的影响。此外，通信网络作为高性能计算机中的共享资源，会被同时通信的多组进程竞争使用，这使得通信效率也受到并行程序通信模式的影响。

多对多是一种常用的通信模式，即一组进程协同完成相互之间的通信，其中各个进程会向多个进程发送数据、各个进程会从多个进程接收数据。全部对全部通信模式，即每个进程会向其自身以外的所有进程发送数据、每个进程会从自身以外的所有进程接收数据，可被理解为一种特殊的多对多通信模式。多对多通信模式易导致通信网络使用上的严重竞争，因此通信效率较低，易成为并行程序的性能瓶颈。

发明内容

针对上述现有技术中的问题，本申请提出了一种多对多通信模式的优化方法、装置、存储介质及电子设备，能够大幅提高多对多通信模式的通信效率。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种多对多通信模式的优化方法，所述方法包括：

将所述多对多通信模式分解为依次执行的两个以上子多对多通信；其中，每个所述子多对多通信具有预先确定的点对点通信关系，且每个所述子多对多通信在执行该预先确定的点对点通信时，具有最小的预测通信开销。

在一些实施例中，所述多对多通信模式具有未分组的多个进程，所述将所述多对多通信模式分解为依次执行的两个以上子多对多通信，包括：

循环执行以下步骤，直至当前未分组的进程的数量小于等于第一预设阈值，其中，每次所述循环确定一个所述子多对多通信：

确定当前进程组大小；

基于所述当前进程组大小，将所述多对多通信模式中的所有进程划分为多个进程组；

确定每个所述进程组内的满足预设条件的点对点通信关系；

基于所述当前进程组大小和当前未分组的进程的数量，确定下一次所述循环中未分组的进程的数量。

在一些实施例中，每个所述进程组内的点对点通信关系至少满足以下预设条件：

同一个所述进程组内的任意两个进程之间能够相互通信，属于不同的所述进程组的两个进程之间不通信。

在一些实施例中，所述方法还包括：计算获得所述多对多通信模式的理想通信开销、实际通信开销和网络竞用开销倍率；