[发明专利]一种基于Spark的并行关联规则增量更新方法

摘要

本发明公开了一种基于Spark的并行关联规则增量更新方法，主要针对现有增量更新方法在海量数据环境下运行效率低下的问题。该方法的实现步骤为获取数据集；数据预处理；划分原始数据集与新增数据集；挖掘原始数据集；挖掘新增数据集，整合挖掘结果，获取更新后数据的候选集；挖掘更新后数据集，获取增量更新后的频繁项。本发明相较于传统的关联规则增量方法，更加充分地利用了原始数据集的挖掘结果，大大减少了数据扫描次数，和基于内存的Spark并行计算框架结合，具有良好的挖掘效率和可扩展性。

主权项

一种基于Spark的并行关联规则增量更新方法，其特征在于：具体包含如下步骤：步骤1，获取数据集；步骤2，对步骤1获取的数据集进行数据预处理：步骤3，将数据预处理后的数据集划分成原始数据集DB和新增数据集db；步骤4，分别对原始数据集DB和新增数据集db进行关联规则挖掘，分别获取原始数据集DB的频繁项集和新增数据集db的频繁项集；步骤5，整合步骤4获取的原始数据集DB的频繁项集和新增数据集db的频繁项集，获取更新后数据集的候选项集；步骤6，获取更新后数据集的全部频繁项集。