[发明专利]一种面向海量数据的并行互相关计算方法

摘要

一种面向海量数据的并行互相关计算方法，包括如下步骤：a)分割成个波形单元；b)每个波形单元做时间戳标记；c)整合成分布数据集；d)执行滤波算法；e)进行互相关计算，利用步骤b)中的时间戳标记对互相关计算的结果进行标记；f)按标记好的时间戳顺序对互相关计算的结果进行整合，得到最终的结果文件。通过对数据集与算法步进行划分，并执行互相关计算，在多个计算节点的支持下可以大大提高互相关计算的速度。

主权项

1.一种面向海量数据的并行互相关计算方法，其特征在于，包括如下步骤：a)将信号的波形文件按照该波形文件的时间序列分割成U个波形单元；b)按波形文件的实际时间顺序为步骤a)中的每个波形单元做时间戳标记；c)根据公式N_C＝S×C×5、N_M＝U×C×V_u/V_m、将所有波形单元按照并行计算节点的物理配置重新整合成分布数据集，其中N_C为基于计算机计算能力的分布式数据集理论数量，N_M为基于计算机存储能力的分布式数据集理论数量，N为分布式数据集的数量，S为计算节点的数量，C为计算节点的CPU核心数，V_m为每个计算节点的内存容量，V_u为每个波形单元所占用存储空间的容量；d)将得到的N个分布式数据集均匀分布到M个计算机的算法执行队列中执行滤波算法，其中M＝S×C；e)将经过滤波计算后的N个分布式数据集进入互相关算法队列进行互相关计算，利用步骤b)中的时间戳标记对互相关计算的结果进行标记；f)按标记好的时间戳顺序对互相关计算的结果进行整合，得到最终的结果文件。