[发明专利]一种可靠连接通信队列对的设置方法、系统及相关装置

说明书

本申请公开了一种可靠连接通信队列对的设置方法，应用于采用InfiniBand标准的网络，包括：在第一节点和需要与所述第一节点建立通信的其它节点之间建立通信队列对；在所述第一节点上设置统一的接收队列和预接收缓冲区，分别接收来自所述其它节点的工作请求和与所述工作请求匹配的数据，以节省InfiniBand网络可靠连接通信所占用的内存。该设置方法能够显著减少可靠连接过程中节点间建立通信所需的内存开销，提高了InfiniBand消息的可拓展性，同时也保障了采用InfiniBand标准的通信网络的稳定运行。本申请还同时公开了一种可靠连接通信队列对的设置系统、装置以及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及InfiniBand标准的网络技术领域，特别涉及一种可靠连接通信队列对的设置方法、系统、装置以及计算机可读存储介质。

背景技术

InfiniBand是一种开放的处理器及IO互连标准，它具有高带宽、低延时等特点，目前已经成为HPC(High Performance Computing，高性能计算机群)互连的主流网络之一。InfiniBand支持多种通信服务和通信语义，这些通信服务包括：可靠连接(ReliableConnection，简称RC)、不可靠数据报以及不可靠连接等。

无论是基于哪种通信语义，通信双方均需要先在本地建立通信队列对(QueuePair,简称QP)，典型的QP由接收队列(Recive Queue,简称RQ)和发送队列(SendQueue,简称SQ)组成，它们分别用来组织用户投递的接收工作请求和发送工作请求。目前，RC是MPI(Message-Passing-Interface，消息传递接口)等并行语言使用最多的通信服务，因为RC支持几乎所有的InfiniBand通信语义和操作。

但RC是一种面向连接的传输服务，传统意义上一个QP只能与一个远端QP建立连接并通信。也就是说，如果一个进程需要与N个远端进程通信，那么它需要创建N个QP。同时，对于通信操作来说，接收方为了接收远端可能的消息，每个QP都需要预先投递多个接收请求，即需要预先准备多块接收缓冲区。这些QP和接收缓冲区毫无疑问会占用一定量的内存，如果是多核环境，那么单个节点所需的内存空间还需要乘以节点核数。很显然，这种基于RC服务的全连接通信模型会因为巨大的内存开销而严重制约应用规模的可扩展性。

所以，如何提供一种内存占用更小、内存利用率更高、InfiniBand消息可拓展性更强的通信队列对设置机制是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种可靠连接通信队列对的设置方法、系统及相关装置，其应用于InfiniBand标准中可靠连接的网络，能够显著减少可靠连接过程中节点间建立通信所需的内存开销，提高了InfiniBand消息的可拓展性。

为解决上述技术问题，本申请提供一种可靠连接通信队列对的设置方法，应用于采用InfiniBand标准的网络，该设置方法包括：

在第一节点和需要与所述第一节点建立通信的其它节点之间建立通信队列对；其中，所述通信队列对具体包括设置在每个节点上的接收队列和发送队列；

在所述第一节点上设置统一的接收队列和预接收缓冲区，分别接收来自所述其它节点的工作请求和与所述工作请求匹配的数据，以节省InfiniBand网络可靠连接通信所占用的内存。

可选的，在所述第一节点上设置统一的接收队列和预接收缓冲区，包括：

初始化所述第一节点；

利用SRQ技术在所述第一节点上设置通用接收队列和通用预接收缓冲区。

可选的，分别接收来自所述其它节点的工作请求和与所述工作请求匹配的数据，包括：

接收来自所述其它节点的工作请求，并将所有所述工作请求按时间先后顺序存放至所述通用接收队列中；