[发明专利]基于共享路径的FP-Growth数据挖掘方法在审
申请号: | 201510604175.8 | 申请日: | 2015-09-21 |
公开(公告)号: | CN105183875A | 公开(公告)日: | 2015-12-23 |
发明(设计)人: | 张登银;季善东 | 申请(专利权)人: | 南京邮电大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 南京知识律师事务所 32207 | 代理人: | 汪旭东 |
地址: | 210003 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 共享 路径 fp growth 数据 挖掘 方法 | ||
1.基于共享路径的FP-Growth数据挖掘方法,其特征在于,包括以下步骤,
S1、按照挖掘需求扫描OLAP数据分析生成的数据立方体Cube,得到相应的Cube表;
S2、数据分片处理:将事务集拷贝到HDFS上,由HDFS将事务集划分为连续的Block并保存相应副本,将各个Block分散存储到N个节点上;
S3、扫描Cube表,构建频繁1_项集表F1List,F1List按照支持度降序排列;
S4、均衡划分F1List得到长度为M的新的列表Glist;
S5、再次扫描Cube表,根据Glist重新将事务集划分为M组,每组重新编号,新的编号与Glist组号一一对应;
S6、调用一次MapReduce实现并行,挖掘完已有FPTree对应的Glisti中所有事务组,得到Glist内包含的所有频繁模式。
2.根据权利要求1所述的基于共享路径的FP-Growth数据挖掘方法,其特征在于,S2的过程由Hadoop自动完成。
3.根据权利要求1所述的基于共享路径的FP-Growth数据挖掘方法,其特征在于,S4的具体过程为,将F1List划分为M组,每组分配一个组号i(1≤i≤M),i对应的组记作Glisti。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京邮电大学,未经南京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510604175.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于马尔科夫预测算法的音乐分类的推荐方法
- 下一篇:数据处理方法及装置