[发明专利]一种GPU通信方法、设备以及介质

说明书

本发明公开了一种GPU通信方法，包括以下步骤：使每一个GPU针对各自的第一个待传输的数据块执行reduce操作，以使所述每一个GPU得到中间数据块；对所述每一个GPU上的所述中间数据块执行压缩操作；对所述每一个GPU执行allgather操作，以使所述每一个GPU分别向其他所有GPU发送自身的所述中间数据块；对所述每一个GPU接收到的若干个所述中间数据块和自身的所述中间数据块执行解压操作。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案以环形通信为基础，采用了数据压缩的方法，减少了传输时数据量，提升了传输带宽。

技术领域

本发明涉及GPU领域，具体涉及一种GPU通信方法、设备以及存储介质。

背景技术

深度学习的大规模数据并行训练带来了越来越大的时间开销，在高速传输网络，硬件成本高昂的情况下，如何合理高效的利用低速网络传输也是我们要解决的问题。低速网络的低传输效率，已经逐渐成为了神经网络大规模训练的瓶颈。

环形通信算法是GPU通信的常用方法，常在数据量较大时使用环形通信算法，其可以有效的利用pipeline技术，在多GPU上有良好的扩展性。但是在低速网络的限制下，例如在部分PCIE连接下，其传输速度仅有7.5GB/s左右，这已经逐渐成为了GPU计算的瓶颈。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种GPU通信方法，包括以下步骤：

使每一个GPU针对各自的第一个待传输的数据块执行reduce操作，以使所述每一个GPU得到中间数据块；

对所述每一个GPU上的所述中间数据块执行压缩操作；

对所述每一个GPU执行allgather操作，以使所述每一个GPU分别向其他所有GPU发送自身的所述中间数据块；

对所述每一个GPU接收到的若干个所述中间数据块和自身的所述中间数据块执行解压操作。

在一些实施例中，还包括：

在使所述每一个GPU针对各自的所述第一个待传输的数据块执行所述解压操作的同时，使所述每一个GPU针对各自的第二个待传输的数据块开始依次执行所述reduce操作、所述压缩操作、所述allgather操作以及所述解压操作。

在一些实施例中，还包括：

在使所述每一个GPU针对各自的所述第一个待传输的数据块执行所述压缩操作后，使所述每一个GPU针对各自的第三个待传输的数据块开始依次执行所述reduce操作、所述压缩操作、所述allgather操作以及所述解压操作。

在一些实施例中，还包括：所述每一个GPU针对各自的所述第二个待传输的数据块执行所述压缩操作的同时执行所述每一个GPU针对各自的所述第三个待传输的数据块的所述allgather操作。

在一些实施例中，还包括：所述每一个GPU针对各自的所述第一个待传输的数据块执行所述allgather操作的同时执行所述每一个GPU针对各自的所述第三个待传输的数据块的所述压缩操作。

在一些实施例中，还包括：

在使所述每一个GPU针对各自的所述第三个待传输的数据块进行所述解压操作的同时，使所述每一个GPU针对各自的第四个待传输的数据块开始依次执行所述reduce操作、所述压缩操作、所述allgather操作以及所述解压操作。

在一些实施例中，还包括：所述每一个GPU针对各自的所述第二个待传输的数据块执行所述allgather操作的同时执行所述每一个GPU针对各自的所述第四待传输的数据块的所述压缩操作。

在一些实施例中，所述reduce操作包括：