[发明专利]一种基于Spark的并行关联规则增量更新方法

权利要求书

1.一种基于Spark的并行关联规则增量更新方法，其特征在于：具体包含如下步骤：

步骤1，获取数据集；

步骤2，对步骤1获取的数据集进行数据预处理：

步骤3，将数据预处理后的数据集划分成原始数据集DB和新增数据集db；

步骤4，分别对原始数据集DB和新增数据集db进行关联规则挖掘，分别获取原始数据集DB的频繁项集和新增数据集db的频繁项集；

步骤5，整合步骤4获取的原始数据集DB的频繁项集和新增数据集db的频繁项集，获取更新后数据集的候选项集；

步骤6，获取更新后数据集的全部频繁项集。

2.根据权利要求1所述的一种基于Spark的并行关联规则增量更新方法，其特征在于：在步骤2中，数据预处理包含清理及整合不完整的脏数据，对数量型数据进行离散化处理。

3.根据权利要求1所述的一种基于Spark的并行关联规则增量更新方法，其特征在于：所述步骤4具体包含如下步骤：

步骤4.1，设原始数据集DB大小为N，最小支持度为minsup，新增数据集db大小为n，则更新后的数据集为S＝DB∪db；

步骤4.2，扫描原始数据集DB，对原始数据集DB每个事务进行flatMap操作得到项(offset,item)，用map操作将所有项映射成(item,1)的键值对，通过reduceByKey操作累计项目数，通过filter操作过滤掉低于最小支持度minsup的项，进而获取频繁1项集L_D1；

步骤4.3，将L_D1通过join操作生成候选2项集C_D2，迭代地产生2到k-1项集；读取k-1项集，通过join操作生成C_Dk，用flatMap操作将全部候选集列出，对每个项集用map操作得到(itemset,1)的键值对，通过reduceByKey操作累计全部候选集的支持度计数，用filter操作过滤掉低于最小支持度minsup的项，最后输出(itemset,count)的键值对，即为原数据库DB的频繁k项集L_D；

同步骤4.1至步骤4.3中的操作，挖掘新增数据集db，得到其频繁项集L_d。

4.根据权利要求3所述的一种基于Spark的并行关联规则增量更新方法，其特征在于：所述步骤5具体包含如下步骤：

步骤5.1，原始频繁项集L_D和新增频繁项集L_d公共部分L’＝L_D∩L_d，其中，L’为更新后数据集S的部分频繁项集；

步骤5.2，剩余的部分C_S＝(L_D-L’)∪(L_d-L’)，其中，C_S为更新后数据集S的候选项集。

5.根据权利要求4所述的一种基于Spark的并行关联规则增量更新方法，其特征在于：所述步骤6具体包含如下步骤：：

步骤6.1，将步骤4.1获取的更新后的数据集分成M个数据分块，和步骤5.2获取的候选项集C_S一起发送至各个工作节点；

步骤6.2，各工作节点分别扫描数据集并与C_S中的项集进行比较，得出所有项集的支持度计数，标记为(itemsets,1)，其中，itemsets为C_S中的项集；将各工作节点中相同项集的支持度计数累加，加上C_S初始的支持度计数，得到实际的支持度计数，利用最小支持度minsup对实际的支持度计数过滤可找出C_S中的频繁项集L_C；

步骤6.3，加上部分频繁项集L’，获得更新后数据集S的全部频繁项集Ls，其中，Ls＝L_C+L’。