[发明专利]跨GPU缓冲区的分级通信系统及设备

权利要求书

1.一种跨GPU缓冲区的分级通信系统，其特征在于，包括：将集群分为两级结构，一级结构作为节点的服务器CPU，二级结构作为CPU下连接的GPU。

2.根据权利要求1所述的跨GPU缓冲区的分级通信系统，其特征在于，一级结构的节点间通信采用knoimal算法实现，二级结构的节点内通信采用单向环算法实现。

3.根据权利要求2所述的跨GPU缓冲区的分级通信系统，其特征在于，所述二级结构的节点内通信采用单向环算法实现，包括：根进程将数据分块并开始将块推送到进程逻辑链中的右邻居，除链中最后一个进程外，所有非根进程都从左邻居接收消息块并将接收的消息块转发给右邻居，链中的最后一个进程从左邻居接收消息块且不进行不转发。

4.根据权利要求3所述的跨GPU缓冲区的分级通信系统，其特征在于，在所述链中的最后一个进程从左邻居接收消息块且不进行不转发之后，还包括：降低单向环算法的通信成本，通过实验确定最佳消息块的大小，并允许运行时通过消息大小、进程数、硬件架构选择正确大小的消息块。

5.根据权利要求4所述的跨GPU缓冲区的分级通信系统，其特征在于，所述单向环算法的通信成本包括：

其中，T_{Bcast_ring}为单向环算法的通信成本，M为消息块大小，C为数据块大小，B为链路带宽，n为节点或GPU数量，t_s为初始化单个传输的启动时长。

6.根据权利要求5所述的跨GPU缓冲区的分级通信系统，其特征在于，在所述并允许运行时通过消息大小、进程数、硬件架构选择正确大小的消息块之后，还包括：在小型和中型消息块中使用knoimal广播树，在大型消息块中使用集合广播算法，在面对大型消息块时选择性能表现更好的单向环算法，通过执行节点内GPU间的广播，从用于节点内NCCL阶段的GPU缓冲区直接发出节点间的广播集体操作来实现广播。

7.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1至6任一项权利要求所述的系统。

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如权利要求1至6中任一项权利要求所述的系统。