[发明专利]基于MapReduce和数组的频繁项集挖掘方法和装置有效
| 申请号： | 201910464665.0 | 申请日： | 2019-05-30 |
| 公开（公告）号： | CN110175198B | 公开（公告）日： | 2023-05-05 |
| 发明（设计）人： | 禤世丽 | 申请（专利权）人： | 禤世丽 |
| 主分类号： | G06F16/2458 | 分类号： | G06F16/2458 |
| 代理公司： | 北京华清迪源知识产权代理有限公司 11577 | 代理人： | 彭伶俐;孙进华 |
| 地址： | 537000 广西壮族自治区玉林市玉*** | 国省代码： | 广西;45 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了基于MapReduce和数组的频繁项集挖掘方法，将数据集转换为二维数组；将二维数组分解成若干二维子数组；将若干二维子数组分配至至少两个并行执行挖掘频繁项集任务的节点上；每一节点挖掘二维子数组对应的子频繁项集并保留每个节点的非频繁项集；统计汇总各子频繁项集并合并非频繁项集，得到数据组的频繁项集。本发明只扫描一次数据库，把数据库转化为二维数组，减少数据库的扫描，缩短I/O时间；同时创造性的通过水平划分的方法将数组分解为更多的子数组，使用Hadoop平台的MapReduce编程模型，采用并行处理二维子数组的方法，即在若干节点并行的对子数组进行频繁项集的挖掘，使得本发明具有较好的加速比和可扩展性，适合对大数据集挖掘频繁项集。 | ||
| 搜索关键词： | 基于 mapreduce 数组 频繁 挖掘 方法 装置 | ||
【主权项】：
1.一种基于MapReduce和数组的频繁项集挖掘方法，其特征在于，包括：扫描数据库，将数据库中的每一数据组转换为与其对应的二维数组；根据预设定分解规则，将每一所述二维数组分解成若干二维子数组；将若干所述二维子数组分配至至少两个并行执行挖掘频繁项集任务的节点上；每一所述节点挖掘所述二维子数组对应的子频繁项集和非频繁项集；将若干所述子频繁项集和非频繁项集合并，得到所述数据组的频繁项集。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于禤世丽，未经禤世丽许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910464665.0/，转载请声明来源钻瓜专利网。
