[发明专利]一种基于RDMA的零拷贝数据流

说明书

本发明公开了一种基于RDMA的零拷贝数据流，主要包括内存分配器和信息收集器；所述内存分配器，用来实现不同内存的分配规则；所述内存类型信息收集器，用于解析数据流计算图，并根据数据流计算图中每条边的数据源和数据接收节点来确定每个步骤的缓冲区管理规则。本发明的一种基于RDMA的零拷贝数据流，可以实现张量传输速率高、GPU的高速扩展以及消除不必要的内存拷贝的优点。

技术领域

本发明涉及数据流技术领域，具体地，涉及一种基于RDMA的零拷贝数据流。

背景技术

商用交换机和网卡构建的高速网络架构是现代数据中心的关键组成部分。远程直接内存访问（RDMA）为应用程序提供零拷贝和CPU旁路通信。最近，RDMA over ConvergedEthernet（RoCE）通信协议已经受到广泛的关注，被认为是高吞吐量，低延迟的数据中心的40 / 100Gbps以太网络的核心通信协议层。然而，现有应用程序通常围绕基于伯克利套接字接口进行设计。为了将现有的程序不作修改地移植到RoCE通信协议上，现有应用程序通常会使用在用户空间模拟的套接字接口。这种设计需要应用程序将通信数据拷贝到专用的通信缓冲区中，其后网卡直接访问这些专用缓冲区并进行实际的数据传输。这种设计有其优点：网卡直接访问的内存缓冲区需要通过设置输入输地址转换将虚拟内存页面锁定在物理内存中，而设置输入输出地址转换器是一项昂贵的操作，当需要传输的数据规模很小的时候，设置地址转换需要时间可能是数据传输本身的好几倍。因此有必要将网卡直接访问的内存缓冲区与应用程序隔离开来，需要时通过将数据拷贝至网卡直接访问的内存缓冲区来实现通信。

数据流是Apache Hadoop、Apache Spark和TensorFlow等数据分析框架中流行的架构模式。数据流是有向无环图，其中每个节点具有多个输入和输出的预定义操作。对于分布式数据流，通常数据流图在所有的训练节点之间进行划分，使得每个边缘被分割成一个通信阶段，其中上一阶段的输出通过通信通道传输成为下一阶段的输入。这些输出和输入通常是大型和不可变（通过计算产生后不被再次修改）的数据块。 在当前应用程序设计中，由于软件架构分层的特点，这些数据块通常会在产生后被移动到不同的子系统进行进一步处理 ，例如序列化和通信前的进一步压缩。当前数据流框架中的处理方法是：直接将其拷贝至网卡直接访问的内存缓冲区，然后进行网络传输。由于这些大型数据块的规模可达几十兆甚至几百兆字节，复制带来的延迟可达数十毫秒。在低速的网络中（网络协议栈一般是TCP／IP／以太网），这样的复制开销相对网络硬件传输的时间而言并不显著；然而在现代40/100Gpbs网络中，由于网络硬件本身的传输性能大幅度提高，拷贝这些大型数据块至内存缓冲区带来的开销在整个数据传输的流水线中变成了重要的瓶颈。在这种情况下，RDMA零拷贝和内核旁路的带来的性能优势被这些开销所掩盖。

然而，如果我们采用整体设计的数据流计算／通信流水线，通过网卡直接访问这些数据块而无需再次移动，则可以消除大部分这些开销，包括设置内存地址转换，从而充分利用RDMA在通信层的性能优势。

发明内容

本发明的目的在于，针对上述问题，提出一种基于RDMA的零拷贝数据流，以实现张量传输速率高、GPU的高速扩展以及消除不必要的内存拷贝的优点。

为实现上述目的，本发明采用的技术方案是：一种基于RDMA的零拷贝数据流，主要包括内存分配器和信息收集器；

所述内存分配器，用来实现不同内存的分配规则；

所述内存类型信息收集器，用于解析数据流计算图，并根据数据流计算图中每条边的数据源和数据接收节点来确定每个步骤的缓冲区管理规则。

进一步地，所述内存分配器包括DMA和RDMA。

进一步地，所述DMA用来对设备直接进行数据的存取。

进一步地，所述设备包括显卡、网卡或处理器。

进一步地，所述RDMA用来对远程数据进行直接存取。