[发明专利]一种基于分散聚合流水线实现MDS阵列码的IP核系统

说明书

本发明涉及计算机应用技术和网络编码领域，具体涉及一种基于分散聚合流水线实现MDS阵列码的IP核架构；包括由Weight FIFO单元以及r个CORE_SG单元组成的编码IP核模块，CORE_SG单元由DW个PE_SG子单元组成；PE_SG子单元采用五级流水线的方式，依次进行补位运算、分散运算、聚集运算、销位运算以及累加运算；实现了补位、分散、聚集、销位、累加的操作，同时采用五级流水线的方式，提升处理的并行性和工作频率；所述编码IP核模块中设置有用于还原原始数据包的编译码算法结构，使得在对k个原始数据包进行传输时，先计算出r个冗余包，若传输时丢失、损坏的数据包数小于r时能够还原出k个原始数据。

技术领域

本发明涉及计算机应用技术和网络编码领域，具体涉及一种基于分散聚合流水线实现MDS阵列码的IP核系统。

背景技术

随着社会的发展，存储系统的规模不断扩大，复杂性不断增加，这就导致数据的存储传送变得愈发困难。根据Google公司的统计数据，在该公司的存储系统，平均每个MapReduce在操作过程中就有5个存储节点发生失效，由此，使用带有容错技术的存储系统已经成为必然。如今，MDS编码技术普遍应用在分布式存储系统中。

目前，应用于分布式存储系统的传统MDS纠删码主要有Reed-Solomon(RS)码和阵列码；RS码是现存唯一一种满足任意数据磁盘个数和冗余磁盘个数的MDS码；但RS码需要在Galois域GF(2^w)上进行多项式运算，运算比较复杂。与之相比，阵列码编解码复杂度很低，且修复过程中下载的数据量和计算复杂度均低于RS码。为此有必要提出一种基于于MDS阵列码的纠删技术，并为其设计了硬件实现。

发明内容

为了解决上述现有技术中存在的技术问题，本发明提供了一种基于分散聚合流水线实现MDS阵列码的IP核系统，拟实现一种高效的纠删码，并实现丢失数据包的还原。

本发明采用的技术方案如下：

一种基于分散聚合流水线实现MDS阵列码的IP核系统，包括由Weight FIFO单元以及由r个CORE_SG单元组成的编码IP核模块，所述CORE_SG单元由DW个PE_SG子单元组成；

所述PE_SG子单元采用五级流水线的方式，依次进行补位运算、分散运算、聚集运算、销位运算以及异或累加；

每个所述PE_SG子单元并行处理L bits的输入数据；

所述CORE_SG单元中包括配置周期和编码周期，在配置周期CORE_SG单元存储上位软件下载的配置系数，并暂存在Weight Memory中；在编码周期CORE_SG单元先将WeightMemory循环导入Weight FIFO单元，再由Weight FIFO单元按先入先出扇出至PE_SG子单元进行编码，各PE_SG子单元将计算结果逐一传递到Dout端口；

所述编码IP核模块中设置有用于还原原始数据包的编译码算法结构。

本发明所述的一种基于分散聚合流水线实现MDS阵列码的IP核系统中，各个单元由地层到顶层对原始数据包逐级处理，得到所需冗余包，得到的冗余包可在解码环节用来还原原始数据包；

有r个CORE_SG单元所构成的编码IP核架构，每个CORE_SG单元可以通过配置不同的控制系数，对同一个输入数据并行计算，得到r个不同的冗余包。

本发明的CORE_SG单元集成了DW个PE_SG子单元并行计算，提升了编码核数据通路带宽，各PE_SG子单元分别处理L比特的输入数据。