[发明专利]一种基于信用的流量控制系统和流量控制方法

说明书

本发明公开了一种基于信用的流量控制系统，包括：接收缓冲队列；信用管理模块，用于在信用配额大于等于最大传输单元时，将接收到的应用层的报文发送到位于链路层的发送器，并更新信用配额；分用器，用于区分接收器输出的报文类型，将普通报文发送至接收缓冲队列，将信用归还报文依次经发送器、接收器和分用器发送至信用管理模块以刷新信用管理模块的信用配额；信用生成模块，用于对接收缓冲队列中的取出报文进行监听，更新通过监听窗口的数据的累加量；当通过监听窗口的数据的累加量大于更新阈值时，生成信用归还报文。本发明能够利用已有的网络设备和链路层技术构建网络，提供无数据丢失和无带宽损失的保证，同时具有低时延的优点。

技术领域

本发明涉及无损网络构建技术领域，具体而言涉及一种基于信用的流量控制系统和流量控制方法。

背景技术

信息技术的日益进步，催生了许多对大规模数据分析的需求。图结构能够自然地表达现实世界中众多实体和实体间的复杂关系，因而由图结构表达的大规模数据，在生产生活中有着许多重要应用。图的规模可以非常大，比如社交网络图，节点可达十亿规模。如何对这些大规模图数据进行高性能分析，是一项非常有挑战的工作。

BSP(Bulk Synchronous Process)模型是一个并行计算模型，它把计算节点的计算看成若干超步的迭代，每个超步中包括本地计算、数据通信、全局同步。实践中，基于这个模型，流行的图计算系统把迭代程序分解为三个步骤，采集(gather)，计算(apply)，发散(scatter)：即计算节点先收集所有邻居节点的信息，然后计算并更新本地数据，最后再把新的状态通过消息传递推送到邻居节点。

FPGA相比于CPU，具有更高的带宽和更低的时延，在图计算领域，基于FPGA的异构加速受到越来越多的关注。典型地，FPGA上实现若干并行处理核心，核心之间通过片上网络(Network on Chip)互连。得益于高速串口，多个FPGA计算节点之间可以通过高速串口和高速网络互连，组成分布式计算环境。

基于BSP模型的分布式图计算需要在所有节点之间同步，单个节点的延迟或错误会拖慢整个系统，所以消息的丢失是不被容忍的；又因为图的幂律分布，网络流量会有很多小的突发，所以，分布式的图计算要求网络提供两个保证，无损失的，能够在低时延的情况下容忍突发。

数据中心中使用RoCEv2(RDMA over Converged Ethernet)来构建无损网络。RoCEv2使用UDP来封装RDMA的传输层协议，这本身带来一定的性能开销。RoCEv2通过在二层使用PFC(Priority-based Flow Control)和在三层使用ECN(Explicit CongestionNotification)控制流量来实现无损。其基本原理都是通过在接收端出现一定程度拥塞后反馈控制来抑制发送端的发送来防止报文丢失。这会带来带宽损失。基于InfiniBand架构的InfiiniBand技术链路层支持使用基于信用的流量控制实现无损，没有带宽损失。然而，因为是专有产品，其上层私有协议引入了不必要的复杂性和开销，例如，要求应用使用网络前先创建QP(Queue Pair)，是面向连接的，而BSP模型使用消息传递机制，是无连接的。

发明内容

本发明针对现有技术中的不足，提供一种基于信用的流量控制系统和流量控制方法，针对基于BSP模型的高性能分布式计算，利用已有的网络设备和链路层技术构建网络，提供无数据丢失和无带宽损失的保证，同时具有低时延的优点。

为实现上述目的，本发明采用以下技术方案：

第一方面，本发明实施例提出了一种基于信用的流量控制系统，所述流量控制系统包括：

接收缓冲队列，其长度为max(RTT×R，Burst_max)；RTT是端到端之间的往返时延，R是链路带宽，Burst_max是网络节点在上层算法的一个同步周期的时间内所可能收到的最大突发流量；