[发明专利]一种带异步通知的乱序RDMA方法与装置

说明书

一种带异步通知的乱序RDMA方法，包括步骤1：源方获取并记录RDMA消息的消息包信息，根据消息包信息从源方主存读取包数据，并将该包数据和对应的消息包信息封装成RDMA数据包，并发送给目标方；步骤2：在收到目标方返回响应包后，响应计数，收齐响应后，向目标方发送异步通知消息Send包；步骤3：在目标方将Send包写入接收队列并返回响应后，写完成事件。本发明，消息包支持乱序发射，减小对网络和路由方式的限制，使网络的构建更为灵活。使用源方计数的可靠性消息传输机制，保证消息可靠传输，简化硬件设计，节省硬件资源开销。由源方硬件自动发起异步通知消息通知目标方消息完成，实现消息完成事件的快速通知，降低消息延时。

技术领域

本发明涉及乱序RDMA消息通信领域，更具体地说涉及一种带异步通知的乱序RDMA方法与装置。

背景技术

在高性能计算系统中，计算节点之间采用RDMA消息机制进行远程主存访问，RDMA消息机制一般集成在网络接口芯片中实现。

目前在高性能计算领域，商用网络接口芯片基本被Mellanox公司垄断，其RDMA机制严格参照InfiniBand规范实现。InfiniBand规范中的RDMA消息传输必须严格保序，保序传输一般只能使用确定性路由，对网络的动态适应能力较差。而使用乱序发射的消息机制可支持自适应路由，对网络的约束更小。

在乱序通信网络中，当RDMA消息完成数据传输，源方需要通知目标方完成事件时，如果由软件向目标方发起异步通知，需要等待源方RDMA消息完成后，再投递异步通知消息，具有较大的延时。

发明内容

针对上述技术问题，本发明提出一种带异步通知的乱序RDMA方法，包括如下步骤：

步骤1：源方获取并记录RDMA消息的消息包信息，根据消息包信息从源方主存读取包数据，并将该包数据和对应的消息包信息封装成RDMA数据包，并发送给目标方；

步骤2：在收到目标方返回响应包后，响应计数，并在收齐响应后，向目标方发送异步通知消息Send包；

步骤3：在目标方将Send包写入接收队列并返回响应后，写完成事件。

该方法，支持消息乱序发射及消息包的乱序传输，减小对路由方式的限定，使网络的构建更为灵活，且由源方硬件自动发起异步通知消息通知目标方消息完成，实现消息完成事件的快速通知，降低消息延时。RDMA消息长度大于传输最大包长时，会拆分成多个包传输，每个包都包含包信息，本申请，不同RDMA消息的不同消息包或者同一RDMA消息的不同消息包发送时，源方按次序获取消息包信息，根据消息包信息从源方主存读取包数据，并将该包数据和对应的消息包信息封装成RDMA数据包，并发送给目标方，目标方每接收一个RDMA数据包，向源方返回一个响应，源方进行响应计数，并在响应收齐后（响应收齐表示一个RDMA消息传输完成），向目标方发送异步通知消息Send包，目标方写入接收队列并返回一个响应，源方收到响应包后，消息执行完成，写完成事件到指定主存空间。

优选的，步骤1中，RDMA消息的消息包信息通过消息悬挂缓冲模块获得，其包括消息ID、剩余数据量、下一个包源数据地址、下一个包目标数据地址、MTU、剩余应答数量、异步通知接收队列号、消息描述符、消息状态；步骤2中，目标方返回响应包中携带有消息悬挂缓冲号和消息ID号。

优选的，步骤2中响应计数的具体方法为：源方每收到一个响应包，根据响应包中的消息悬挂缓冲号和消息ID号匹配消息悬挂缓冲模块的对应消息信息，匹配成功后消息悬挂缓冲模块中剩余应答数量减一；当剩余应答数量为零时，表示消息传输完成。该设置，使用源方计数，保证消息传输的可靠性，且可简化硬件设计，节省硬件资源开销。

优选的，步骤1中，源方根据消息剩余数据量、下一个包源数据地址、下一个包目标数据地址、MTU（最大传输包长度）等信息，从源方主存读取数据。