[发明专利]一种MapReduce平台上的海量高维数据聚类方法有效
| 申请号： | 201110148982.5 | 申请日： | 2011-06-03 |
| 公开（公告）号： | CN102222092A | 公开（公告）日： | 2011-10-19 |
| 发明（设计）人： | 廖松博;何震瀛;汪卫 | 申请（专利权）人： | 复旦大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 上海正旦专利代理有限公司 31200 | 代理人： | 陆飞;盛志范 |
| 地址： | 200433 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于云计算与数据挖掘技术领域，具体为一种MapReduce平台上的海量高维数据聚类方法。该方法首先对原始数据的每一维进行分割，用切分好的非空小格代替原数据中的点集进行聚类，减小数据规模。利用MapReduce的开源实现，使得聚类过程可以在分布式集群上并行完成，克服了单机算法在存储和计算上的限制。聚类过程采用K-mediods算法的思想，并提出高效的欧式距离计算方法。本发明适用于处理海量高维数据，用户可以根据集群的计算能力、算法的时间期望以及对聚类精确性的要求对算法进行手动调整，满足了不同用户的需要。 | ||
| 搜索关键词： | 一种 mapreduce 平台 海量 数据 方法 | ||
【主权项】：
一种MapReduce平台上的海量高维数据聚类方法，其特征在于具体步骤如下：（1）对于输入的海量高维数据进行预处理，设高维数据为D维，首先是对原数据各维进行标准化，之后将每一维切成N格，生成非空的D维格子集合；（2）以步骤(1)输出的结果作为输入，实现MapReduce平台上的K‑mediods并行算法，通过迭代计算对D维格子集合进行聚类；（3）将步骤(2)得出的D维格子聚类的结果还原成原始的D维点集聚类结果，并按照用户的需求进行最终整理及输出。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于复旦大学，未经复旦大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201110148982.5/，转载请声明来源钻瓜专利网。
- 上一篇：具有摄像功能的能见度仪
- 下一篇：一种用于钢管淬火的挡水活门装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
