[发明专利]基于NSS‑AKmeans和MapReduce处理大数据的K‑Means聚类方法在审
| 申请号： | 201710619794.3 | 申请日： | 2017-07-26 |
| 公开（公告）号： | CN107423764A | 公开（公告）日： | 2017-12-01 |
| 发明（设计）人： | 王霞;康春阳 | 申请（专利权）人： | 西安交通大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62 |
| 代理公司： | 西安通大专利代理有限责任公司61200 | 代理人： | 闵岳峰 |
| 地址： | 710049 陕*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于NSS‑AKmeans和MapReduce处理大数据的K‑Means聚类方法，该方法在未知簇数量的情况下，利用基于MapReduce改进的NSS‑AKmeans对大数据集进行分块分析，得到每个子集的簇数量和簇中心。之后将每个子集的结果合并，得到数据集的簇数量和接近于真实值的初始簇中心。最后利用标准的K‑Means算法在已有的初始簇中心基础上对大数据集完成聚类分析。本发明解决了已有基于Hadoop的K‑Means算法中簇数量需要已知的问题，并且计算得到的初始簇中心较为准确，在第三个MapReduce作业中，减少了K‑Means算法的迭代次数。 | ||
| 搜索关键词： | 基于 nss akmeans mapreduce 处理 数据 means 方法 | ||
【主权项】：
基于NSS‑AKmeans和MapReduce处理大数据的K‑Means聚类方法，其特征在于，包括以下步骤：(1)在第一个MapReduce作业中，对数值型数据集进行预处理，包括数据的清洗，归一化，重排；(2)将第一个MapReduce作业输出的数据输入第二个MapReduce作业中，在第二个MapReduce作业中，对输入的数据集的每个分片采样得到数据量的子集，利用NSS‑AKmeans算法对每个子集进行聚类分析，得到每个子集的簇中心，之后对这些簇中心进行分析合并得到初始簇中心；(3)在第三个MapReduce作业中，在已有的初始簇中心的基础上，利用标准的K‑Means算法在MapReduce上的并行化对数据集完成聚类分析。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安交通大学，未经西安交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710619794.3/，转载请声明来源钻瓜专利网。
- 上一篇：采暖或空调智能换热机组
- 下一篇：一种自然循环热水供暖系统管路结构
