[发明专利]一种GPU通信方法、设备以及介质

权利要求书

1.一种GPU通信方法，其特征在于，包括以下步骤：

使每一个GPU针对各自的第一个待传输的数据块执行reduce操作，以使所述每一个GPU得到中间数据块；

对所述每一个GPU上的所述中间数据块执行压缩操作；

对所述每一个GPU执行allgather操作，以使所述每一个GPU分别向其他所有GPU发送自身的所述中间数据块；

对所述每一个GPU接收到的若干个所述中间数据块和自身的所述中间数据块执行解压操作；

其中，所述reduce操作包括：

将所述每一个GPU中待传输的数据块分为多个子数据块，以使所述每一个GPU分别向其他所有GPU发送一个对应的子数据块，并使所述每一个GPU对接收到若干个子数据块和自身的一个子数据块进行相加以得到中间数据块。

2.如权利要求1所述的方法，其特征在于，还包括：

在使所述每一个GPU针对各自的所述第一个待传输的数据块执行所述解压操作的同时，使所述每一个GPU针对各自的第二个待传输的数据块开始依次执行所述reduce操作、所述压缩操作、所述allgather操作以及所述解压操作。

3.如权利要求2所述的方法，其特征在于，还包括：

在使所述每一个GPU针对各自的所述第一个待传输的数据块执行所述压缩操作后，使所述每一个GPU针对各自的第三个待传输的数据块开始依次执行所述reduce操作、所述压缩操作、所述allgather操作以及所述解压操作。

4.如权利要求3所述的方法，其特征在于，还包括：

所述每一个GPU针对各自的所述第二个待传输的数据块执行所述压缩操作的同时，执行所述每一个GPU针对各自的所述第三个待传输的数据块的所述allgather操作。

5.如权利要求3所述的方法，其特征在于，还包括：

所述每一个GPU针对各自的所述第一个待传输的数据块执行所述allgather操作的同时，执行所述每一个GPU针对各自的所述第三个待传输的数据块的所述压缩操作。

6.如权利要求3所述的方法，其特征在于，还包括：

在使所述每一个GPU针对各自的所述第三个待传输的数据块进行所述解压操作的同时，使所述每一个GPU针对各自的第四个待传输的数据块开始依次执行所述reduce操作、所述压缩操作、所述allgather操作以及所述解压操作。

7.如权利要求6所述的方法，其特征在于，还包括：

所述每一个GPU针对各自的所述第二个待传输的数据块执行所述allgather操作的同时，执行所述每一个GPU针对各自的所述第四个 待传输的数据块的所述压缩操作。

8.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。