[发明专利]一种快速数据筛选方法及系统

说明书

本公开提出了一种快速数据筛选方法及系统，针对海量信道数据，首先利用阈值比较器对输入数据进行数据有效性的判断，根据比较结果判断该数据对于下一级处理的可用性，减少了资源压力。利用快速数据比较，优先级数组序列生成以及输出数据选通三部分处理，在保证实时性和资源可用性的基础上完成了数据优先级快速筛选，对多信道数据的优先级快速筛选具有良好的效果，并且数据筛选速度快，在数据量增加的情况下，实时性良好，基于FPGA硬件设计在基于不同FPGA的平台上都可以良好的运行，可移植程度高。

技术领域

本公开涉及检测识别相关技术领域，具体的说，是涉及一种快速数据筛选方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要。而数据筛选在整个数据处理流程中处于至关重要的地位。快速数据筛选是检测识别领域的重要内容，在数字信号处理，数字图像处理、模式识别等领域应用广泛。特别随着高清时代的到来，在高数据量时，怎么保证筛选出最感兴趣的数据点成为热门话题。又比如在复杂电磁环境中，怎么在全波段快速定位信号所处的波段，并迅速做出应对，成为保证现代数字信号处理系统实时性的重要研究。当面对海量输入数据时，如何快速筛选出高优先级的数据是一个重要的研究课题。当前，对数据筛选提出了新的要求，要求兼顾时间可行性和空间可行性，并且要求在数据量增加的情况下，可以保证良好的实时性和可靠性。

现有技术中，对多信道数据的快速筛选方法包括基于软件的筛选方法，如插入排序筛选、希尔排序筛选、堆排序筛选、归并排序筛选、快速排序筛选等。基于软件的排序方法作为成熟的排序筛选算法，可靠性高，但是随着数据量的增加，资源消耗量巨大，筛选完成时间增长。因此，在实时性要求较高的场合，基于软件来实现的筛选算法很难满足要求。

为了兼顾时间和资源两个方面，一些基于硬件的筛选算法应运而生，如串并集合排序筛选、多层次归并排序筛选、硬件排序系统筛选等。

串并集合排序筛选考虑了实时性要求和资源可实现性两个方面，对于N个数据的排序筛选，不要求单个数据与N个数据的比较结果在一个时钟周期内完成，转而利用分时的思路在N个周期内完成全部比较结果的输出。此方法大大减少了算法实现过程中的硬件资源消耗。但是完成筛选的时钟周期个数与待处理数据个数相当，实时性受到数据个数限制,实时性方面的指标降低，应用时需要结合实时性要求考虑算法的可用性。

多层次归并排序筛选，在实现上有基于寄存器和基于FIFO两种实现模式。此算法的最基本操作是合并两个已经排序的数据表，因此该算法的适用范围受到了限制。此外，算法的最坏运行时间为O(NlogN)，随着待处理数据量的增加，实时性变差明显。

硬件排序系统筛选，核心思想是直接插入排序。每次将当前需要插入的数据与前面已经完成排序的数据进行比较，这样经过一个时钟周期以后即可以计算到该数据应该插入的正确位置。通过分析原理可以知道此算法虽然采用了并行比较的思路，但是随着待处理数据个数的增加，完成数据优先级筛选需要的时间会线性增加，实时性也相对变差。

综上，基于纯软件实现的数据筛选算法随着待处理数据量的增加，占用资源量大，并且实时性、处理速度方面没有办法保证。基于硬件实现的数据筛选算法：串并集合排序筛选算法优化了算法需要的资源量，但是处理速度仍然没有办法满足实时性要求特别高的场合；多层次归并排序筛选，在实现两个已经排序的数据表的场合执行情况良好，但应用场景受限；硬件排序系统筛选采用比较插入的思路进行数据优先级筛选，但是同样随着数据量增加，处理速度变慢，实时性变差。因此，亟需一种算法，可以保证数据筛选的实时性，并且当数据量增加时，实时性不会变差，处理速度可靠。

发明内容