[发明专利]一种基于Spark框架的增量式频繁项集挖掘方法

摘要

本发明公开了一种基于Spark框架的增量式频繁项集挖掘方法，首先实现一种基于Spark的自适应并行Apriori算法，使用自适应算法来寻找具有更高精度和效率的频繁模式，可以有效解决传统Apriori算法在面对大规模数据时处理能力不足的问题。接着，在并行Apriori算法的基础上实现增量式Apriori算法，能够增量处理动态数据集，大幅减少参与计算的数据量，有效解决Apriori频繁项集挖掘方法的时效性问题。

主权项

1.一种基于Spark框架的增量式频繁项集挖掘方法，其特征在于，包括以下几个步骤：步骤1：获取原始数据集AprioriDB的初始一元频繁项集；依据设定的频繁项集最小支持度，计算原始数据集AprioriDB中每个项的支持度，将大于或等于设定的频繁项集最小支持度的项作为初始一元频繁项集；步骤2：利用k‑1元频繁项集L_k‑1迭代生成k元频繁项集L_k；步骤3：按照步骤1‑2所述方法，提取新增数据集Aprioridb的频繁项集和对应的支持度，Aprioridb的频繁项集及其支持度结果记为f；步骤4：运行任务taskFRead读取原始数据集AprioriDB的频繁项集及对应的支持度，AprioriDB的频繁项集及其支持度结果记为F；步骤5：运行任务taskClassify读取并合并f和F，依据支持度的合并结果，将所有的频繁项集进行分类，得到三种不同类型的项集，分别是：项集F∩f、项集f‑F、F‑f；同时运行任务taskdbRead和taskDBRead读取原始数据集AprioriDB和新增数据集Aprioridb；其中，项集F∩f中的每个项集在AprioriDB和Aprioridb中都是频繁项集；项集f‑F是指从f中去除F中存在的项集，需要扫描AprioriDB，并计算f‑F中每一个项集在AprioriDB中的支持度；项集F‑f是指从F中去除f中存在的项集，需要扫描Aprioridb，计算F‑f中每一个项集在Aprioridb中的支持度；步骤6：同时运行三个不同的任务，分别读取并更新项集F∩f、项集f‑F、项集F‑f中的每个项集的支持度；其中，项集F∩f中的所有频繁项集记为DirectF；项集f‑F中的每个项集通过扫描AprioriDB计算各项集在整个数据集中的最终支持度；再筛选出支持度小于MIN_SUP×(D×d)的项集，获得所有频繁项集scan_DBF；项集F‑f中的每个项集扫描Aprioridb计算各项集在整个数据集中的最终支持度；再过滤出支持度少于MIN_SUP×(D×d)的项集，获得所有频繁项集果scan_dbF；步骤7：运行任务taskUnion合并频繁项集结果DirectF，scan_DBF和scan_dbF以得到最终的频繁项集结果F′。