[发明专利]基于UDP协议的网内聚合纠删码恢复系统及方法

说明书

一种基于UDP协议的网内聚合纠删码恢复系统，包括：可编程交换系统(P4EC)、设置于目标节点的辅助进程模块和设置于发送方节点的发送方进程模块，本发明使用可编程交换系统替代由存储节点来进行的数据聚合处理以连接所有存储节点，从而可以在传输过程中聚合所有块数据。通过可编程交换机有效地将N个网络流聚合为一个网络流，实现纠删码的恢复过程，减少网络传输瓶颈的影响并减轻目标节点CPU的负载。此外，本发明使用基于UDP的自定义协议，与基于TCP的解决方案相比，增加有效吞吐量。并且可以适应当前大数据中心的各种数据分布模型。

技术领域

本发明涉及的是一种分布式文件处理领域的技术，具体是一种基于UDP协议的网内聚合纠删码恢复系统及方法。

背景技术

现代数据中心使用纠删码对存储的数据进行编码，以提供更低的存储开销的方式来保证数据可靠性。现阶段所使用的最主流的纠删码是Reed-Solomon码(RS码)。大部分的纠删码会将数据分割成块独立的数据块。它的优点是在数据发生丢失的情况下，可以通过将多个剩余数据块传输到单个目标节点来聚合后的数据。但是，数据的恢复速度很大程度上受限于接收机的网络带宽，并且在恢复过程需要接收节点执行大量的计算和需要内存缓冲来存储计算的中间数据。特别是对于一些CPU性能及核数量有限的存储节点来说，以上的缺点尤为明显。于是我们可以将纠删码计算移动到交换机里执行，其可以不在受到网络传输瓶颈的影响，并能减轻存储节点CPU的负载。近年来，提出网内聚合(In-NetworkAggregation)数据恢复方案，但已有的方案在性能和网络适应性方面存在不足，主要是已有的方案都基于TCP协议，而TCP流量控制和确认功能在网络稳定的环境中没有用处，反而增加数据包的处理时延。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于UDP协议的网内聚合纠删码恢复系统及方法，相比现有RS纠删码需要向单个目标节点传输N个数据块将导致网络拥塞，本发明使用可编程交换系统替代由存储节点来进行的数据聚合处理以连接所有存储节点，从而可以在传输过程中聚合所有块数据。通过可编程交换机有效地将N个网络流聚合为一个网络流，实现纠删码的恢复过程，减少网络传输瓶颈的影响并减轻目标节点CPU的负载。此外，本发明使用基于UDP的自定义协议，与基于TCP的解决方案相比，增加有效吞吐量。并且可以适应当前大数据中心的各种数据分布模型。

本发明是通过以下技术方案实现的：

本发明涉及一种基于UDP协议的网内聚合纠删码恢复系统，包括：可编程交换系统(P4EC)、设置于目标节点的辅助进程模块和设置于发送方节点的发送方进程模块，其中：辅助进程模块将本地的分布式文件系统的恢复请求以恢复请求的形式转发至若干发送节点并等待来自可编程交换系统的聚合后的数据；发送方进程模块根据辅助进程的恢复请求，从本地操作系统中读取数据块并发送至可编程交换系统；可编程交换系统对来自发送方节点的取数据块中的数据字节进行聚合后，以数据包形式根据基于UDP的自定义协议发送至目标节点。

优选地，所述的辅助进程模块通过监听模式检测当发生丢包时，将向所有的发送方进程模块发送数据包重传请求。

所述的可编程交换系统，包括：控制模块、解析器、路由表模块、校验和模块、元数据管理模块和字节处理器，其中：控制模块通过字节处理器进行聚合处理，当参与计算的数据块满足数量时将聚合后的数据直接转发至目标节点，否则将得到的临时结果先存储于寄存器；解析器根据网络协议信息解析协议头上的每个字段检测自定义协议的数据包；路由表模块根据网络地址和交换机端口之间的映射，将数据包转发到正确的目的地；校验和模块根据数据包更新UDP校验和字段；元数据管理模块根据数据包索引和块号字段，通过位图来记录每个索引已经接收到的数据块的计数，判断当前数据包是否为给定索引的最后一个数据包；字节处理器根据索引和块号信息，对单个数据字节执行聚合处理，并将临时结果存储在对应的寄存器中。

所述的临时结果是指：数量不满足N个的数据块进行系数乘法和求和得到的结果，其中N为RS参数，当少于N个块的数据输出至可编程交换系统时，计算结果被暂时存储在交换机上直到接收到其他块的数据。