[发明专利]基于共享路径的FP-Growth数据挖掘方法在审
申请号: | 201510604175.8 | 申请日: | 2015-09-21 |
公开(公告)号: | CN105183875A | 公开(公告)日: | 2015-12-23 |
发明(设计)人: | 张登银;季善东 | 申请(专利权)人: | 南京邮电大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 南京知识律师事务所 32207 | 代理人: | 汪旭东 |
地址: | 210003 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开一种基于共享路径的FP-Growth数据挖掘方法,该方法基于MapReduce,利用OLAP的数据立方体技术,采用了共享路径的思想。主要解决了传统FP-Growth算法存在的内存和计算时间双瓶颈的问题,属于数据挖掘领域的技术。 | ||
搜索关键词: | 基于 共享 路径 fp growth 数据 挖掘 方法 | ||
【主权项】:
基于共享路径的FP‑Growth数据挖掘方法,其特征在于,包括以下步骤,S1、按照挖掘需求扫描OLAP数据分析生成的数据立方体Cube,得到相应的Cube表;S2、数据分片处理:将事务集拷贝到HDFS上,由HDFS将事务集划分为连续的Block并保存相应副本,将各个Block分散存储到N个节点上;S3、扫描Cube表,构建频繁1_项集表F1List,F1List按照支持度降序排列;S4、均衡划分F1List得到长度为M的新的列表Glist;S5、再次扫描Cube表,根据Glist重新将事务集划分为M组,每组重新编号,新的编号与Glist组号一一对应;S6、调用一次MapReduce实现并行,挖掘完已有FPTree对应的Glisti中所有事务组,得到Glist内包含的所有频繁模式。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京邮电大学,未经南京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510604175.8/,转载请声明来源钻瓜专利网。
- 上一篇:一种基于马尔科夫预测算法的音乐分类的推荐方法
- 下一篇:数据处理方法及装置