[发明专利]一种大数据块迭代的高速处理方法、FPGA装置和系统

说明书

本发明提供一种大数据块迭代的高速处理方法、FPGA装置和系统，当某个算法通道通过PCIE IP内核接收主机写入的命令字后，根据所述命令字、累计已读取的源数据的长度、前缓冲区当前可用空间大小确定本次读取长度和起始地址，并根据本次读取长度和起始地址生成DMA请求发送至主机；主机根据所述DMA请求返回TLP完成包；所述算法通道接收到所述TLP完成包后，将所述TLP完成包中的源数据缓存至前缓冲区，按照单次迭代的运算数据量依次分段从前缓冲区读取源数据进行迭代运算处理，并在迭代完成后，将所述运算结果按照所述目的地址写入主机内存。

技术领域

本发明涉及计算机技术领域，具体的说，涉及了一种大数据块迭代的高速处理方法、FPGA装置和系统。

背景技术

在信息安全日益受到人们重视的信息化时代，数据处理及存储产品要求不止具有处理数据的功能，还需要具有病毒防护和加解密的功能。针对此项要求，目前市场上有软件加解密和硬件加解密两种方案，而其中硬件加解密由于其速度快，安全性高而受到研究者的重视。

尤其对于复杂的算法，为提高速度，通常使用硬件完成，采用FPGA是一种很好地解决方法。FPGA(Field-Programmable Gate Array)，即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

然而，由于当前FPGA内部的RAM资源有限，很难实现将大数据块全部转移到FPGA上，即便是能够将数据块全部转移到FPGA上，但是由于过多的数据存储将会占用系统资源，进而影响FPGA整体的处理效率。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供了一种大数据块迭代的高速处理方法、FPGA装置和系统。

为了实现上述目的，本发明所采用的技术方案是：一种大数据块迭代的高速处理方法，包括以下步骤：当某个算法通道通过PCIE IP内核接收主机写入的命令字后，按照预设轮询顺序被轮询时，所述算法通道均根据所述命令字、累计已读取的源数据段的长度、前缓冲区当前可用空间大小和预设分段机制确定本次读取长度，然后基于本次读取长度触发DMA控制器通过PCIE IP内核向主机发出DMA读请求，以使所述主机对所述DMA读请求进行处理，通过PCIE IP内核返回对应的源数据段；所述命令字包括待处理的源数据块长度、源数据起始地址和目的地址；

所述预设分段机制为：在剩余源数据的长度和前缓冲区当前可用空间大小均大于等于算法通道的单段数据传输阈值时，以所述单段数据传输阈值为读取长度进行数据读取；其中，剩余源数据的长度=源数据块长度-累计已读取的源数据的长度，前缓冲区当前可用空间大小=前缓冲区空间大小-前缓冲区当前已用空间大小；在剩余源数据的长度小于算法通道的单段数据传输阈值且前缓冲区当前可用空间大小大于等于剩余源数据的长度时，以剩余源数据的长度为读取长度进行数据读取；

当某个算法通道接收到主机发送的源数据段后，将所述源数据段缓存至前缓冲区，并按照单次迭代的运算数据量依次分段从前缓冲区读取源数据进行迭代运算处理，其中单次迭代的运算数据量小于算法通道的单段数据传输阈值。

本发明第二方面提供一种可高度处理大数据块迭代的FPGA装置，包括PCIE IP内核、接收模块、DMA控制器以及至少一个算法通道，所述算法通道分别与所述DMA控制器、所述PCIE IP内核以及所述接收模块连接，