[发明专利]基于分布式计算的高效用频繁模式挖掘方法

说明书

本发明公开了一种基于分布式计算的高效用频繁模式挖掘方法，包括以下步骤：(1)数据预处理与平台搭建；(2)设计适用于并行处理的高效用频繁模式挖掘剪枝策略；(3)并行化处理高效用频繁模式挖掘。本发明基于Hadoop处理大数据方面的高效性、可靠性、可扩展性等优势，应用MapReduce计算框架实现高效用频繁模式挖掘，从而有效解决处理数据挖掘算法在计算大数据时面临的时间和空间性能瓶颈问题。

技术领域

本发明涉及数据挖掘领域，特别是一种基于分布式计算的高效用频繁模式挖掘方法。

背景技术

随着计算机技术和网络的飞速发展，数据呈爆炸式增长，如何从海量数据中快速提取出有价值的信息是目前亟待解决的问题。关联分析作为数据挖掘的经典研究主题，用于发现事务间的关联关系，其主要以频繁模式、关联规则或高效用模式等方式呈现，为科学决策指导提供数据支持。譬如，通过挖掘旅行日志中潜在的高效用模式，分析日志中蕴含的高效用信息，为旅游业决策制定提供科学依据与数据支撑。应用频繁模式挖掘Twitter数据流，对热点话题进行预测。目前的研究方法主要基于支持度或效用值兴趣度度量标准进行挖掘，针对高效用频繁模式挖掘的研究成果较少，并且已有方法基于单处理机挖掘事务中的关联关系。因此，为了突破海量数据中高效用频繁模式挖掘遇到的时间和空间性能瓶颈问题，本项目提出了基于分布式计算的高效用频繁模式挖掘方法。

发明内容

发明目的：本发明的目的是提供一种时间性能良好的基于分布式计算的高效用频繁模式挖掘方法。

技术方案：本发明所述的一种基于分布式计算的高效用频繁模式挖掘方法，包括以下步骤：

(1)数据预处理与平台搭建；

(2)设计适用于并行处理的高效用频繁模式挖掘剪枝策略；

(3)并行化处理高效用频繁模式挖掘。

所述步骤(1)具体为：

(1.1)收集数据；

(1.2)将收集的数据通过预处理手段转换为用于关联分析的事务数据集；

(1.3)搭建Hadoop完全分布式环境，为高效用频繁模式并行挖掘提供平台。

所述步骤(1.2)中的预处理手段包括连续值离散化、变量变换与特征子集选择。

所述步骤(1.3)中搭建Hadoop完全分布式环境具体包括JDK和Hadoop安装及环境变量配置、为每台机器设置主机名和集群中各节点IP与主机名的对应关系、配置SSH免密码登录、配置Hadoop相关配置文件。

所述步骤(3)具体为：

(3.1)计数：采用Map函数计算所有局部候选高效用频繁1阶项集在所有数据分块中的支持度与事务加权效用值，删除低于最小支持度阈值与事务效用阈值的模式；

(3.2)转换：删除事务数据集中不满足最小支持度和效用阈值的项，根据项目的事务加权效用值升序对事务排序，重构数据集。创建EUTS二阶信息存储结构，用于挖掘阶段减少模式自连接次数。

(3.3)挖掘：采用Map函数计算所有局部候选高效用频繁项集在所有数据分块中的支持度与效用值，使用Reduce函数合并所有的候选项集的支持度与效用值，删除不满足两种阈值的模式，进一步获取完整的高效用频繁模式。根据挖掘出高效用频繁模式，进行解释与说明，为决策指导提供支持。

有益效果：与现有技术相比，本发明具有如下优点：本发明基于Hadoop处理大数据方面的高效性、可靠性、可扩展性等优势，应用MapReduce计算框架实现高效用频繁模式挖掘，从而有效解决处理数据挖掘算法在计算大数据时面临的时间和空间性能瓶颈问题。

附图说明

图1为本方法的步骤流程图；