[发明专利]具有触发操作的GPU远程通信

说明书

公开了用于通过计算机通信网络来发射数据的方法、装置和系统。可以使用中央处理单元(CPU)预先生成通信命令队列并将其存储在网络接口控制器(NIC)的装置存储器中。此后，如果图形处理单元(GPU)有数据要传送到远程GPU，那么它可以将所述数据存储在发送缓冲器中，其中在所述缓冲器中的位置由预先生成的命令指向。所述GPU随后可以用信号向所述接口装置通知所述命令已就绪，从而触发所述预先生成的命令的执行以发送所述数据。

相关申请的交叉引用

本申请要求2016年10月18日提交的美国非临时专利申请号15/297,079的权益，该专利申请的内容通过引用并入本文。

政府权利

本发明是在政府支持下根据由美国能源部资助的劳伦斯伯克利国家实验室设计先锋2系统集成项目(主合同号DE-AC02-05CH11231，分包合同号7216338)进行的。政府享有本发明的某些权利。

背景技术

直接存储器存取(DMA)是计算机系统的主存储器可以被某些外围硬件直接存取而无需由中央处理单元(CPU)执行单独读/写操作的技术。此类外围硬件可以包括图形处理器(GPU)、网络接口控制器(NIC)或其他装置，诸如其他种类的输入/输出(I/O)装置。

远程直接存储器存取(RDMA)是一个计算机或处理装置可以通过网络存取另一计算机或处理装置的主存储器而不涉及任一计算机的CPU或操作系统的技术。DMA和RDMA两者都可以具有允许CPU在主存储器与硬件子系统之间或在两个计算机系统的主存储器之间的数据传送期间执行其他功能的优点。DMA和RDMA两者还可以具有比需要来自CPU的更多介入的技术提高数据传送速率的优点，并且可以减少或消除缓冲。

GPU通常无法控制网络装置。基于CPU的通信库或在CPU上运行的其他软件可以被要求在分布式GPU之间通信。使用GPU构建诸如读和写请求包或者put和get命令等通信网络命令导致性能较差，因为这个操作本质上是串行的并且无法在GPU上有效地并行化。

附图说明

可以从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：

图1是可以实现一个或多个公开的实施方案的示例性装置的框图；

图2是示出示例性拓扑的系统图；

图3是示出可以使用图2的示例性拓扑和/或图1的示例性装置来采用的示例性方法的流程图；

图4是示出可以使用图2的示例性拓扑和/或图1的示例性装置中的GPU来采用的示例性方法的流程图；

图5是示出可以使用图2的示例性拓扑和/或图1的示例性装置中的NIC来采用的示例性方法的流程图；以及

图6是示出可以使用图2的示例性拓扑和/或图1的示例性装置中的CPU来采用的示例性方法的流程图。

具体实施方式

多节点GPU集群是计算机集群，其中连接的计算机中的每一者包括一个或多个GPU。GPU集群的各种操作可能需要集群中的一个GPU的输出的RDMA通信，以便由集群的不同节点中的GPU消耗。GPU当前在没有在CPU上运行的关键路径软件的帮助下无法发起RDMA通信，并且无法有效地生成通信网络命令。因此，GPU-GPU RDMA通常低效，并且通常需要CPU来开始通信。这可能是不合期望的，因为RDMA的一个潜在优点就是释放CPU以用于其他任务。