[发明专利]一种基于弹性分布数据集的海量空间数据密度聚类方法

摘要

本发明涉及一种基于弹性分布数据集的海量空间数据密度聚类方法，本方法针对快速挖掘大规模空间数据的聚集特性基，基于“RDD分区‑‑区内并行计算‑‑合并局部结果”思想设计，首先根据数据在空间的分布情况，自动划分网格并分配数据，使得网格内数据量相对均衡，达到平衡运算节点负载的目的；接着，提出一种适用于并行计算的局部密度定义，并改进聚类中心的计算方式，解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷；最后，通过网格内及网格间聚簇合并等优化策略，实现了大规模空间数据的快速聚类处理。本发明可以有效实现大规模空间数据的快速聚类，与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能。

主权项

一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于，包括如下步骤：(1)基于数据在空间的分布情况，引入空间网格索引生成基于网格RDD分区：(1.1)利用二叉索引生成空间网格，结合自上向下策略逐层分割空间并构建网格索引，直至生成的子网格边界长度不大于给定的预值；(1.2)采用MAP‑Reduce思想，统计各层网格内数据对象的数目，广播索引结构并均分待聚类数据对象到各计算节点，归并网格内数据量信息，得到完整的网格索引结构；(1.3)遍历索引，查找数据量小于给定值的最大网格，根据查找结果生成基于网格编号的Key‑Value RDD，生成基于网格RDD分区：(2)进行分区内聚类计算：以改进的局部密度定义为依据，在得到的各个分区上并行运行cluster_dp算法确定聚簇中心，使得数据对象具有相同的局部密度；(3)通过网格内及相邻网格间的聚簇合并优化策略进行局部结果合并，完成聚类处理。