[发明专利]一种大数据块迭代的高速处理方法、FPGA装置和系统

权利要求书

1.一种大数据块迭代的高速处理方法，其特征在于，包括以下步骤：

当某个算法通道通过PCIE IP内核接收主机写入的命令字后，按照预设轮询顺序被轮询时，所述算法通道均根据所述命令字、累计已读取的源数据段的长度、前缓冲区当前可用空间大小和预设分段机制确定本次读取长度，然后基于本次读取长度触发DMA控制器通过PCIE IP内核向主机发出DMA读请求，以使所述主机对所述DMA读请求进行处理，通过PCIEIP内核返回对应的源数据段；所述命令字包括待处理的源数据块长度、源数据起始地址和目的地址；

所述预设分段机制为：在剩余源数据的长度和前缓冲区当前可用空间大小均大于等于算法通道的单段数据传输阈值时，以所述单段数据传输阈值为读取长度进行数据读取；其中，剩余源数据的长度=源数据块长度-累计已读取的源数据的长度，前缓冲区当前可用空间大小=前缓冲区空间大小-前缓冲区当前已用空间大小；在剩余源数据的长度小于算法通道的单段数据传输阈值且前缓冲区当前可用空间大小大于等于剩余源数据的长度时，以剩余源数据的长度为读取长度进行数据读取；

当某个算法通道接收到主机发送的源数据段后，将所述源数据段缓存至前缓冲区，并按照单次迭代的运算数据量依次分段从前缓冲区读取源数据进行迭代运算处理，其中单次迭代的运算数据量小于算法通道的单段数据传输阈值。

2.根据权利要求1所述的大数据块迭代的高速处理方法，其特征在于，根据所述命令字、累计已读取的源数据段的长度、前缓冲区当前可用空间大小和预设分段机制确定本次读取长度的具体步骤为：

判断剩余源数据的长度是否大于等于算法通道的单段数据传输阈值，

若剩余源数据的长度大于等于算法通道的单段数据传输阈值，则进一步判断所述前缓冲区当前可用空间大小是否大于等于所述单段数据传输阈值，若大于等于，则确定本次进行数据读取，且读取长度为所述单段数据传输阈值；否则确定本次不进行数据读取；

若剩余源数据的长度小于算法通道的单段数据传输阈值，则进一步判断所述前缓冲区当前可用空间大小是否大于等于剩余源数据的长度，若大于等于，则确定本次进行数据读取，且本次读取长度为剩余源数据的长度；否则，确定本次不进行数据读取。

3.根据权利要求2所述的大数据块迭代的高速处理方法，其特征在于：

本次轮询过程中，将本次确定不进行数据读取的算法通道按照先后顺序执行第一排序过程，生成第一排序；将本次确定进行数据读取且读取长度为所述单段数据传输阈值的算法通道按照先后顺序执行第二排序过程，生成第二排序；将本次确定进行数据读取且读取长度为剩余源数据的长度的算法通道按照先后顺序执行第三排序过程，生成第三排序；本次轮询结束后，按照先第一排序、第二排序和第三排序的顺序进行下次轮询。

4.根据权利要求2所述的大数据块迭代的高速处理方法，其特征在于：按照单次迭代的运算数据量依次分段从前缓冲区读取源数据进行迭代运算处理后，将运算结果缓存至后缓冲区；在后缓冲区的当前可用空间大小不为0且所有源数据迭代运算完成时提取后缓冲区中运算结果的长度，基于后缓冲区中运算结果的长度触发DMA控制器将运算结果按照所述目的地址写入主机内存。

5.根据权利要求2所述的大数据块迭代的高速处理方法，其特征在于：按照单次迭代的运算数据量依次分段从前缓冲区读取源数据进行迭代运算处理后，将运算结果缓存至后缓冲区；在后缓冲区的当前可用空间大小为0时，基于后缓冲区的空间大小触发DMA控制器将运算结果按照所述目的地址写入主机内存。