[发明专利]基于MapReduce的FP-Growth的负载均衡并行计算方法

权利要求书

1.一种基于MapReduce的FP-Growth的负载均衡并行计算方法，其特征是，所述负载均衡并行计算方法包括如下步骤：

步骤1、输入所需的数据库事务集D以及最小支持度计数，并将所述数据库事务集D分成连续不同的分区，且数据库事务集D的子事务集存储在多台节点上；

步骤2、第一次扫描数据库事务集D，并行计算每台节点上的项的支持度计数，且将所有节点计算的项的支持度技术合并，以得到全部频繁1项集FList；

步骤3、将频繁1项集FList的项根据负载均衡的方法划分成M组，以得到长度为M的新列表GList，新列表GList中每一组的组号为gid_i（1≤i≤M）；

步骤4、第二次扫描数据库事务集D，根据新列表GList将数据库事务集D也划分为M组，划分得到数据库事务集D的组号与新列表GList内的组号相对应，若一条事务包含GList_gidi中的项，则将该条事务对应的部分发送到组号为gid_i的事务组DB；在数据库事务集D划分结束后，对每一个事务组DB创建其本地FP-Tree，并根据本地FP-Tree挖掘对应的GList_gidi，以得到频繁1项集中所有项的频繁模式；

步骤5、将每台节点上得到的频繁1项集中所有项的频繁模式聚合输出。

2.根据权利要求1所述的基于MapReduce的FP-Growth的负载均衡并行计算方法，其特征是，所述步骤3包括如下步骤：

步骤3.1、计算频繁1项集FList中每项的负载，按照负载降序排列，以得到排列表SList；

步骤3.2、根据指定的组数M，将排列表SList中的前M项初始化为新列表GList中的M组，且新列表GList中的每组与排列表SList中的每项呈一一对应；

步骤3.3、将排列表SList中未被分到新列表GList中组的第一项添加到新列表GList中负载最小的组内，并将添加的项的负载值进行累加，并更新新列表GList中组的负载；

步骤3.4、重复上述步骤3，直至排列表SList中的所有项都完成分组；

步骤3.5、将得到的新列表GList保存在HDFS文件中，以便多台节点共享。