[发明专利]一种使用Hadoop的极大频繁子图挖掘方法

摘要

本发明提供一种使用Hadoop的极大频繁子图挖掘方法，该方法通过使用Hadoop来挖掘极大频繁子图，将频繁子树与候选边结合后，通过已保存的中间结果来判断其是否频繁并产生极大频繁子图，而不需要再次遍历数据库，极大频繁子图极大地降低了输出数量，可以在大数据的情况下挖掘极大频繁子图，同时由于生成的候选集只包括频繁子树及其候选边，降低了运行时间。

主权项

1.一种使用Hadoop的极大频繁子图挖掘方法，其特征在于，包括以下步骤：S1：使用两轮MapReduce找出频繁子树及其候选边；S2：使用一轮MapReduce将上述频繁子树及其候选边进行组合，并检验，产生极大频繁子图的候选集；S3：在候选集中找出极大频繁子图；所述步骤S1的具体过程如下：S11：将图数据库中的图平均分发给每个节点，假设n个节点，每个节点m个数据，并给定阈值θ；S12：在每个节点中，找出局部频繁的边的集合E，局部频繁的边是指在节点的数据中出现的次数不小于m*θ的边，通过遍历本节点的数据得到；S13：继承上一步，在每个节点中递归寻找局部频繁子树及其候选边，并本地记录结果以及输出；S14：将上一步中每个节点的输出进行整合，判断所得局部频繁子树是否有可能是频繁子树，判断所得局部频繁子树的候选边是否是有必要的，得到第一轮的候选子树及其候选边；S15：在每个节点中，获取S14得到的第一轮的候选子树的集合及其候选边在本节点的出现次数，并本地记录结果以及输出；S16：将上一步中每个节点的输出进行整合，判断第一轮的候选子树是否是频繁子树，判断第一轮的候选子树的候选边是否是有必要的，得到第二轮的候选子树及其候选边，即是频繁子树的集合及其候选边。