[发明专利]一种并行处理方法及装置

摘要

本发明适用于信息处理技术领域，提供了一种并行处理方法及装置，应用于包含多个终端设备的系统，所述方法包括：在各终端设备并行构建广义后缀树；基于构建的广义后缀树，通过MapReduce在各终端设备查找候选频繁模式；通过MapReduce在所述候选频繁模式中查找频繁模式。本发明通过在各终端设备并行化构建广义后缀树，加快了广义后缀树构建速度，而且计算过程可以处理更大的数据量，提供更大的内存空间，解决了因为单机内存限制不能对大数据采用广义后缀树的问题。另外，通过两次MapReduce查找频繁模式减少了对于带宽的消耗，且排除了较多冗余的遍历，遍历效率更高，从而有效加快了频繁模式查找速度。

主权项

1.一种并行处理方法，其特征在于，应用于包含多个终端设备的系统，所述方法包括：在各终端设备并行构建广义后缀树；基于构建的广义后缀树，通过MapReduce在各终端设备查找候选频繁模式；通过MapReduce在所述候选频繁模式中查找频繁模式；所述基于构建的广义后缀树，通过MapReduce在各终端设备查找候选频繁模式包括：对各终端设备的广义后缀树进行深度优先遍历；判断遍历过程中当前子字符串的频繁模式是否满足Repeat>N/m，其中N表示所有终端设备所述当前子字符串出现的次数，m表示终端设备数目；若是，则将当前子字符串作为候选频繁模式，否则对以当前节点为根的子树进行剪枝；所述通过MapReduce在所述候选频繁模式中查找频繁模式包括：读取各终端设备存储的所有候选频繁模式，构成一个候选频繁模式集合；基于所述候选频繁模式集合中的所有字符串，采用Ukkonen算法构建广义后缀树；在该广义后缀树中查找所述候选频繁模式集合中代表每个候选频繁模式的具体节点，并返回值num；在某个候选频繁模式返回值num之和大于预设阈值时，将该候选频繁模式作为频繁模式输出。