[发明专利]一种基于大数据平台的频繁模式挖掘方法

摘要

本发明公开了一种基于大数据平台的频繁模式挖掘方法。它利用大数据平台从海量数据中发现满足用户需求的频繁模式，一是采用混合的搜索策略，将宽度优先搜索和深度优先搜索相结合，实现混合挖掘，二是采用混合垂直数据格式来表示数据，充分利用交集与差集的运算特点保证垂直数据格式始终保持最小状态，同时实现水平数据格式与垂直数据格式的相互转换，并采用了基于快速失败机制的交叉计算优化方案提高计算效率，三是在宽度优先搜索挖掘阶段采用基于有序搜索树的快速剪枝策略，提高剪枝效率，四是结合大数据平台的特性，进行有效地缓存和均衡分组，实现整个系统负载均衡。

主权项

1.一种基于大数据平台的频繁模式挖掘方法，其特征在于，根据事务数据库D、用户设置的最小支持度𝜎，快速地从D中发掘出频繁度不低于𝜎的模式，主要包括以下步骤：(1)数据输入；(2)统计频繁1‑项集和2‑项集；(3)估算最大内存上限值SMUB，对搜索策略进行划分；(4)混合挖掘；(5) 数据输出；其中所述步骤（2）和（4）中的宽度挖掘阶段的垂直数据格式采用混合数据格式，并采用基于快速失败机制的交叉计算优化方案提高计算速率，同时采用基于有序搜索树的快速剪枝方案避免资源浪费问题；所述步骤（3）中对搜索策略进行了划分，从单一搜索策略转入混合搜索，在所述步骤（4）中按照混合搜索策略执行混合挖掘任务，所述步骤（4）中进行混合挖掘时对宽度挖掘进行有效的缓存机制来降低中间输出量，同时对于深度挖掘采用均衡分组方案实现整个系统