[发明专利]一种基于纠删码的RDMA网络数据传输方法

说明书

本发明公开了一种基于纠删码的RDMA网络数据传输方法，所述方法包括以下步骤：(1)发送端获取应用的数据，将数据切分成固定大小的数据帧，再将每一帧数据切分为k个大小相同的数据块，然后发送给接收端；(2)若在指定时间阈值内还有数据块没有到达接收端，则发送端对这k个数据块编码生成m个校验块，将校验块发送给接收端；(3)接收端接收到这k+m块中的任意k个就可以恢复出一帧数据，当收到所有的数据帧就完成了一次数据传输。本发明通过纠删码生成冗余数据让接收端不用等待延迟路径上的数据包，从而降低传输延迟；通过纠删码硬件卸载，不增加CPU的计算开销。

技术领域

本发明属于网络技术领域，具体涉及一种基于纠删码的RDMA网络数据传输方法。

背景技术

面对云计算、大数据、人工智能计算等高并发低延时的应用，传统的TCP/IP软硬件架构无法满足需求。因为TCP/IP软硬件架构的多次内存拷贝、中断处理，上下文切换、复杂的TCP/IP协议处理、存储转发模式和丢包导致了过高的传输时延和额外的CPU计算开销。

远程直接数据存取(Remote Direct Memory Access，RDMA)作为TCP/IP的一个互补技术，提供直接访问远程机器上的虚拟内存的消息服务。由于RDMA网卡可以直接拷贝数据，所以可以绕开复杂的网络协议栈，并且最小化操作系统的参与。这种设计实现了数据传输的延迟、高吞吐、并降低了CPU的开销。

现代的数据中心通常由成百上千的服务器组成，内部需要TB级别的双向带宽来发送数据。为了满足这样的网络需求并降低开销，大多数的数据中心采用Clos拓扑结构的网络(通常三层甚至更多)，水平地扩展网络容量。这些网络使用交换机来替换具有大量网路端口的路由器。图1是一个典型的Clos结构的数据中心网络的拓扑。

数据中心服务器运行着大量的云服务。这些服务产生了多种多样的流量模式。这些不同的数据流对网络性能有不同的要求，其中大流传输的数据量大，对带宽要求高；小流传输的数据量小但一般都携带有控制信息，对传输延时要求较高。大流和小流在网络中混合传输的时候，小流可能因为调度到大流之后传输而产生很高的延时。如果采用细粒度的传输，将大流切分成固定大小的小流进行传输，可以避免上述问题，而且大流切分以后还可以通过数据中心中RDMA网络的多路径并行传输，从而降低数据的传输时延。但是与此同时，这也带来了问题：一个数据流的完成时间由最后到达的数据块决定，会产生长尾效应；而且接收方需要实现一个复杂的排序算法来重排出原始数据。

发明内容

发明目的：基于现有技术的不足，本发明提出一种基于纠删码的RDMA网络数据传输方法，通过细粒度传输和多路径并行传输降低传输时延，并利用纠删码消除网络传输的长尾效应和简化接收端的重排序操作，同时利用RDMA网卡的纠删码硬件卸载计算纠删码，降低CPU计算开销。

技术方案：本发明所述的一种基于纠删码的RDMA网络数据传输方法，包括以下步骤：

S1、发送端获取应用的数据，将数据切分成固定大小的数据帧，再将每一帧数据切分为k个大小相同的数据块，然后发送给接收端；

S2、若在指定时间阈值内还有数据块没有到达接收端，则发送端对这k个数据块编码生成m个校验块，将校验块发送给接收端；

S3、接收端接收到这k+m个数据块中的任意k个时，恢复出一帧数据，当接收端收到所有的数据帧时，就完成了一次数据传输。

进一步地，所述步骤S1包括：发送端将应用内存中的数据按照帧大小逐个拷贝到缓冲区中，并为这一帧数据分配一个帧号，每发送一帧数据帧号都会加一。将一帧数据切分为k个数据块，每一个数据块的大小为block_size个字节。然后用k个QP并行地将这些数据块发送给接收端。然后将这个数据帧加入到定时器的事件序列中。