[发明专利]基于MapReduce的FP-Growth的负载均衡并行计算方法

摘要

本发明涉及一种基于MapReduce的FP-Grwoth的负载均衡并行计算方法，其包括如下步骤：步骤1、将数据库事务集D分成连续不同的分区，且子事务集存储在多台节点上；步骤2、并行计算支持度计数，得到全部频繁1项集FList；步骤3、将频繁1项集FList的项根据负载均衡的方法划分成M组，以得到新列表GList；步骤4、根据新列表GList将数据库事务集D也划分为M组，在数据库事务集D划分结束后，对每一个事务组DB创建其本地FP-Tree，并根据本地FP-Tree挖掘对应的GListgidi，以得到频繁1项集中所有项的频繁模式；步骤5、将每台节点上得到的频繁1项集中所有项的频繁模式聚合输出。本发明具有较好的负载均衡能力以及执行效率。

主权项

一种基于MapReduce的FP‑Growth的负载均衡并行计算方法，其特征是，所述负载均衡并行计算方法包括如下步骤：步骤1、输入所需的数据库事务集D以及最小支持度计数，并将所述数据库事务集D分成连续不同的分区，且数据库事务集D的子事务集存储在多台节点上；步骤2、第一次扫描数据库事务集D，并行计算每台节点上的项的支持度计数，且将所有节点计算的项的支持度技术合并，以得到全部频繁1项集FList；步骤3、将频繁1项集FList的项根据负载均衡的方法划分成M组，以得到长度为M的新列表GList，新列表GList中每一组的组号为gidi（1≤i≤M）；步骤4、第二次扫描数据库事务集D，根据新列表GList将数据库事务集D也划分为M组，划分得到数据库事务集D的组号与新列表GList内的组号相对应，若一条事务包含GListgidi中的项，则将该条事务对应的部分发送到组号为gidi的事务组DB；在数据库事务集D划分结束后，对每一个事务组DB创建其本地FP‑Tree，并根据本地FP‑Tree挖掘对应的GListgidi，以得到频繁1项集中所有项的频繁模式；步骤5、将每台节点上得到的频繁1项集中所有项的频繁模式聚合输出。