[发明专利]跨GPU缓冲区的分级通信系统及设备

说明书

本发明提供了一种跨GPU缓冲区的分级通信系统及设备。所述系统包括：将集群分为两级结构，一级结构作为节点的服务器CPU，二级结构作为CPU下连接的GPU。本发明采用MPICH的分层集合通信框架进行节点间的通信，对于节点内部的GPU通信则采用NCCL实现多节点的配置，基于NCCL的nccl_broadcast函数设计一个MPI中的广播算法，增强不同MPI_Bcast的性能表现，通过先执行GPU间的广播，从节点内NCCL阶段的GPU缓冲区直接发出节点间的广播集体操作来实现高效的通信。

技术领域

本发明实施例涉及分级通信技术领域，尤其涉及一种跨GPU缓冲区的分级通信系统及设备。

背景技术

现如今因GPU优异的计算能力，使用GPU去进行并行计算任务或处理大两数据的计算问题已然成为一种趋势。GPU由于其拥有数量巨大的计算核心，使得其在并行计算领域和一些处理数据量巨大的问题上具有先天优势。目前应用于GPU的Broadcast常见集体通信算法需要在多节点下广播，意味着使用cudaMemcpy操作将数据从根GPU的设备内存转移到主机内存上，再转移到非根GPU的内存上，这使用cudaMemcpy操作，这种行为造成额外的成本。如果避免使用cudaMemcpy产生浪费，但由于没有使用IPC机制，没有使用高性能的GPU内核线程辅助的复制操作，所以仍然存在大时延。因此，开发一种跨GPU缓冲区的分级通信系统及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种跨GPU缓冲区的分级通信系统及设备。

第一方面，本发明的实施例提供了一种跨GPU缓冲区的分级通信系统，包括：将集群分为两级结构，一级结构作为节点的服务器CPU，二级结构作为CPU下连接的GPU。

在上述系统实施例内容的基础上，本发明实施例中提供的跨GPU缓冲区的分级通信系统，一级结构的节点间通信采用knoimal算法实现，二级结构的节点内通信采用单向环算法实现。

在上述系统实施例内容的基础上，本发明实施例中提供的跨GPU缓冲区的分级通信系统，所述二级结构的节点内通信采用单向环算法实现，包括：根进程将数据分块并开始将块推送到进程逻辑链中的右邻居，除链中最后一个进程外，所有非根进程都从左邻居接收消息块并将接收的消息块转发给右邻居，链中的最后一个进程从左邻居接收消息块且不进行不转发。

在上述系统实施例内容的基础上，本发明实施例中提供的跨GPU缓冲区的分级通信系统，在所述链中的最后一个进程从左邻居接收消息块且不进行不转发之后，还包括：降低单向环算法的通信成本，通过实验确定最佳消息块的大小，并允许运行时通过消息大小、进程数、硬件架构选择正确大小的消息块。

在上述系统实施例内容的基础上，本发明实施例中提供的跨GPU缓冲区的分级通信系统，所述单向环算法的通信成本包括：

其中，T_{Bcast_ring}为单向环算法的通信成本，M为消息块大小，C为数据块大小，B为链路带宽，n为节点或GPU数量，t_s为初始化单个传输的启动时长。

在上述系统实施例内容的基础上，本发明实施例中提供的跨GPU缓冲区的分级通信系统，在所述并允许运行时通过消息大小、进程数、硬件架构选择正确大小的消息块之后，还包括：在小型和中型消息块中使用knoimal广播树，在大型消息块中使用集合广播算法，在面对大型消息块时选择性能表现更好的单向环算法，通过执行节点内GPU间的广播，从用于节点内NCCL阶段的GPU缓冲区直接发出节点间的广播集体操作来实现广播。

第二方面，本发明的实施例提供了一种电子设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：