[发明专利]基于分布式计算的高效用频繁模式挖掘方法

权利要求书

1.一种基于分布式计算的高效用频繁模式挖掘方法，其特征在于，包括以下步骤：

(1)数据预处理与平台搭建；

(2)设计适用于并行处理的高效用频繁模式挖掘剪枝策略；

(3)并行化处理高效用频繁模式挖掘。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体为：

(1.1)收集数据；

(1.2)将收集的数据通过预处理手段转换为用于关联分析的事务数据集；

(1.3)搭建Hadoop完全分布式环境，为高效用频繁模式并行挖掘提供平台。

3.根据权利要求2所述的方法，其特征在于，所述步骤(1.1)中的预处理手段包括连续值离散化、变量变换与特征子集选择。

4.根据权利要求2所述的方法，其特征在于，所述步骤(1.2)中搭建Hadoop完全分布式环境具体包括JDK和Hadoop安装及环境变量配置、为每台机器设置主机名和集群中各节点IP与主机名的对应关系、配置SSH免密码登录、配置Hadoop相关配置文件。

5.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体为：

(3.1)计数：采用Map函数计算所有局部候选高效用频繁1阶项集在所有数据分块中的支持度与事务加权效用值，删除低于最小支持度阈值与事务效用阈值的模式；

(3.2)转换：删除事务数据集中不满足最小支持度和效用阈值的项，根据项目的事务加权效用值升序对事务排序，重构数据集。创建EUTS二阶信息存储结构，用于挖掘阶段减少模式自连接次数。

(3.3)挖掘：采用Map函数计算所有局部候选高效用频繁项集在所有数据分块中的支持度与效用值，使用Reduce函数合并所有的候选项集的支持度与效用值，删除不满足两种阈值的模式，进一步获取完整的高效用频繁模式。根据挖掘出高效用频繁模式，进行解释与说明，为决策指导提供支持。