[发明专利]基于迭代逼近的RDMA缓冲区动态分配方法

说明书

本发明公开一种基于迭代逼近的RDMA缓冲区动态分配方法，包括以下步骤：S1、初始化时，RDMA发起方做以下设置：将请求分配的缓冲区数量记为rbuf_thresh，初始值设为4，rbuf_thresh扩张时的时间记为epoch_start，初始值设为当前时间，rbuf_thresh扩张前的rbuf_thresh记为R_min，初始值设为2，rbuf_thresh扩张后的rbuf_thresh记为R_max，初始值设为4，rbuf_thresh扩张后R_max减少到R_min的时间记为K，初始化为K=，其中C是一个常数系数；S2、RDMA发起方检查本地保存的RDMA缓冲区列表，判断RDMA被动方是否有可用的RDMA缓冲区；S3、RDMA被动方收到RDMA主动方发来的分配RDMA缓冲区请求后，根据该请求中的rbuf_thresh分配新的RDMA缓冲区，并通告给RDMA主动方。本发明实现了对RDMA缓冲区的动态分配，在保证网络高带宽的同时，可以显著降低预先分配的RDMA缓冲区数量，降低内存消耗量。

技术领域

本发明涉及一种基于迭代逼近的RDMA缓冲区动态分配方法，属于计算机技术领域。

背景技术

包括IB在内的基于交换的互连网络架构，均提供Send/Receive、RDMA Write、RDMARead等数据传输类型。其中Send/Receive操作类似于socket编程中的send/receive语义，可以将发送方指定的数据写入接收方指定的接收缓冲区。而RDMA Write、RDMA Read等操作（下文将合称RDMA操作）可以将发送方指定的数据写入发送方指定的远程接收缓冲区，而不需要远程主机的参与，从而为上层软件提供了直接访问远程内存的编程语义，成为IBVerbs等编程接口的最常用操作类型。

RDMA 操作的使用流程如下（以RDMA Write为例）：

（1）RDMA被动方首先注册用于接收数据的RDMA缓冲区，并将RDMA缓冲区信息告知发送方；

（2）RDMA发送方向发送队列（Send Queue，SQ）投递发送请求，其中指定了发送缓冲区信息、接收方的RDMA缓冲区信息等；

（3）RDMA发起方的消息处理引擎从SQ中读取发送请求，从发送缓冲区取数据，并组织成数据报文传递到RDMA被动方（该包中携带有接收方接收缓冲区地址信息），然后在本地完成队列（Complete Queue，CQ）中产生完成信息CQE；

（4）RDMA被动方消息处理引擎收到数据后，根据数据报文中的接收缓冲区地址信息，直接将数据写入该接收缓冲区；

（5）RDMA Write操作完成后，在RDMA被动方不产生完成信息条目CQE；需要通过其它方式通知被动方该RDMA Write操作的完成，最常用的方式是发送方发送一条Send/Receive消息进行确认。

RDMA为上层软件提供了不需要远程主机参与而直接访问远程内存的编程语义。但利用RDMA操作进行通信时，RDMA操作的被动方首先需要分配RDMA缓冲区，并将其虚地址、存储句柄等信息告知RDMA操作发起方，从而引入了额外的消息延迟。一般采用预先分配大量RDMA缓冲区的方法来消除上述额外延迟。在通信负载较小的情况下，预先分配大量RDMA缓冲区会造成RDMA缓冲区的利用率较低，造成内存浪费。

利用RDMA操作进行通信时，被动方首先需要分配用于存放接收数据的RDMA缓冲区，并将RDMA缓冲区的虚地址、存储句柄等信息告知发送方。有2种分配RDMA缓冲区的策略。

（1）实时分配

RDMA操作发起方在进行RDMA操作前，先通过控制消息向RDMA操作的被动方申请创建RDMA缓冲区；RDMA被动方收到该请求后，分配RDMA缓冲区，并通过另外一条控制消息将RDMA缓冲区信息返回给RDMA操作发起方。