[发明专利]基于Spark并行频繁项集挖掘方法

权利要求书

1.一种基于Spark并行频繁项集挖掘方法，其特征在于，包括以下步骤：

S1，通过矩阵存储获取支持度计数矩阵，并提供创建条件FP-tree的支持度计数查询；然后根据获取的支持度计数，剔除不满足最小支持度的项，得到频繁1项集矩阵；然后通过非负矩阵分解策略SNMF分解储存频繁1项集的矩阵；

S2，由S1的频繁1项集矩阵可得频繁1项集F-list，采用遗传算法的分组策略GS-GA对S1得到的频繁1项集均匀分组；

S3，采用高效缩减树结构策略ERTS合并条件模式基，删除FP-tree中不满足最大频繁项集的路径；然后并行挖掘分组的FP-tree，获得频繁项集，并将结果输出到分布式文件系统HDFS中。

2.根据权利要求1所述的一种基于Spark并行频繁项集挖掘方法，其特征在于，所述S1包括以下步骤：

S1-1，支持度计数矩阵获取：先从分布式文件系统HDFS中获取数据库信息，转化为初始抽象弹性分布式数据集RDD，利用RDD的faltMap()函数生成来自数据集的所有项；接着在数据集的每个项上，应用Map()函数生成(item,1)键值对；然后存储每个事务中各个项两两组合的支持度计数于矩阵之中；最后使用reduceByKey来进行支持度统计，获得支持度计数矩阵；

S1-2，频繁1项集矩阵获取：根据获取的支持度计数，剔除不满足最小支持度的事务，得到频繁1项集，并更新矩阵的存储信息，获得频繁1项集矩阵；

S1-3，矩阵分解：采用非负矩阵分解函数FNMF分解频繁1项集矩阵。

3.根据权利要求2所述的一种基于Spark并行频繁项集挖掘方法，其特征在于，所述S1-3中的矩阵分解包括：

非负矩阵分解函数FNMF为：

其中V,W,H为非负矩阵；表示V属于维度为a×b的非负矩阵，表示W属于维度为a×c的非负矩阵，表示H属于维度为c×b的非负矩阵；a、b、c表示矩阵维度；

min表示取最小值；

为惩罚项；

||·||_F表示F范式；

γ为稀疏参数；

·^T表示矩阵的转置。

4.根据权利要求1所述的一种基于Spark并行频繁项集挖掘方法，其特征在于，所述S2中的遗传算法的分组策略GS-GA包括以下步骤：

S2-1，最优解获取：在获取频繁1项集F-list之后，先采用“高权二进”编码HWB，编码转换F-list，得到初始种群；然后采用个体适应度计算公式FCIF，筛选初始种群，获得下一代种群；最后，根据获得的新的种群，遗传变异种群，获得最优解；

S2-2，频繁1项集分组：获得最优解后，根据最优解，分组频繁1项集。

5.根据权利要求4所述的一种基于Spark并行频繁项集挖掘方法，其特征在于，所述S2-1中的“高权二进”编码HWB包括：

当频繁1项集为{X₁,X₂,...,X_n}，X_k的支持度计数采用二进制编码时，其正常编码个体的概率为P＝((m+1)/2^m)^k，其中X_k为第k个正常编码个体，k∈{1,2,...,n}，m为各项集项的个数，n表示频繁1项集的项个数有n个；

且二进制整数各位的权重满足其中为任意符号，N^*表示正整数，为存在符号。

6.根据权利要求4所述的一种基于Spark并行频繁项集挖掘方法，其特征在于，所述S2-1中的体适应度计算公式FCIF包括：

给定总集{x₀,x₁,...,x_n}，存在价值分别为{y₀,y₁,...,y_n}，种群容量为C，则个体适应度为：

其中y_i表示x_i的存在价值；

x_i表示第i项集；

表示相关系数，