[发明专利]一种基于Hadoop的并行k均值聚类方法无效
| 申请号： | 201310568611.1 | 申请日： | 2013-11-15 |
| 公开（公告）号： | CN103544328A | 公开（公告）日： | 2014-01-29 |
| 发明（设计）人： | 高阳;王睿;史颖欢 | 申请（专利权）人： | 南京大学;江苏万维艾斯网络智能产业创新中心有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 苏州威世朋知识产权代理事务所(普通合伙) 32235 | 代理人： | 杨林洁 |
| 地址： | 210093*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Hadoop的并行k均值聚类方法，包括如下步骤：数据预处理；选择k个类的初始中心；在Hadoop平台各个节点的Mapper端计算数据对象到所有中心的距离；在所述Mapper端选择距离最小的中心，将局部数据发送到Hadoop平台各个节点的Combiner端；在Combiner端把属于同一中心的数据对象集合在一起，计算属于同一中心的数据对象的和，将所有同一聚类的局部数据发送到Hadoop平台各个节点的Reducer端；在所述Reducer端汇总所有聚类的局部数据，计算所有聚类的新中心；重复执行，得到收敛的聚类结果。本发明能够有效解决海量数据的聚类问题，大大提高聚类的速度。 | ||
| 搜索关键词： | 一种 基于 hadoop 并行 均值 方法 | ||
【主权项】：
一种基于Hadoop的并行k均值聚类方法，包括如下步骤：（1）数据预处理；（2）选择k个类的初始中心；（3）在Hadoop平台各个节点的Mapper端计算每个数据对象到所有初始中心的距离；（4）在所述Mapper端选择距离最小的中心点，将局部数据发送到Hadoop平台各个节点的Combiner端；（5）在所述Combiner端把属于同一中心点的数据对象集合在一起，计算属于同一中心点的数据对象的和，将所有同一聚类的局部数据发送到Hadoop平台各个节点的Reducer端；（6）在所述Reducer端汇总所有聚类的局部数据，计算所有聚类的新中心；（7）重复执行步骤（3）至（6），直到对于所有的k个聚类中心保持不变，则迭代结束，得到聚类结果，否则继续迭代。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京大学;江苏万维艾斯网络智能产业创新中心有限公司，未经南京大学;江苏万维艾斯网络智能产业创新中心有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310568611.1/，转载请声明来源钻瓜专利网。
