[发明专利]一种基于弹性分布数据集的海量空间数据密度聚类方法

说明书

技术领域

本发明涉及移动设备，尤其涉及一种基于弹性分布数据集的海量空间数据密度聚类方法。

背景技术

聚类分析在空间数据挖掘中扮演重要的角色。空间聚类分析将空间数据按其聚集特性分成若干聚簇，使得位于同一聚簇的数据具有较大的相似性，而位于不同聚簇的数据具有较大的差异性。根据不同的指导思想，可将聚类算法分为基于划分的聚类、基于层次的聚类、基于密度的聚类、基于网格的聚类以及基于特定模型的聚类。经典划分式算法k－means与其改进算法k-medoids，k-means++，通过多次迭代来确定聚簇中心并将数据归类.算法实现简单，但对噪音敏感，对非球形的聚簇的处理效果较差。

随着数据规模的激增，传统的聚类算法往往由于数据量过大而无法运行，迫切需要高速、有效、高伸缩的海量数据聚类算法。面向计算机集群GFS，BigTable和MapReduce技术为海量数据的聚类分析提供了思路。作为上述技术的开源实现，Hadoop并行计算框架在聚类分析领域被广泛应用。由于追求高吞吐量，基于Hadoop-MapReduce框架的并行聚类算法需要多次读写磁盘以存取中间结果，导致算法I/O开销较大，具有较高的延迟，无法用于实时聚类。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于弹性分布数据集的海量空间数据密度聚类方法，本方法针对快速挖掘大规模空间数据的聚集特性基，基于“RDD分区--区内并行计算--合并局部结果”思想设计，首先根据数据在空间的分布情况，自动划分网格并分配数据，使得网格内数据量相对均衡，达到平衡运算节点负载的目的；接着，提出一种适用于并行计算的局部密度定义，并改进聚类中心的计算方式，解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷；最后，通过网格内及网格间聚簇合并等优化策略，实现了大规模空间数据的快速聚类处理。

本发明是通过以下技术方案达到上述目的：一种基于弹性分布数据集的海量空间数据密度聚类方法，包括如下步骤：

(1)基于数据在空间的分布情况，引入空间网格索引生成基于网格RDD分区：

(1.1)利用二叉索引生成空间网格，结合自上向下策略逐层分割空间并构建网格索引，直至生成的子网格边界长度不大于给定的预值；(1.2)采用MAP-Reduce思想，统计各层网格内数据对象的数目，广播索引结构并均分待聚类数据对象到各计算节点，归并网格内数据量信息，得到完整的网格索引结构；

(1.3)遍历索引，查找数据量小于给定值的最大网格，根据查找结果生成基于网格编号的Key-Value RDD，生成基于网格RDD分区：

(2)进行分区内聚类计算：以改进的局部密度定义为依据，在得到的各个分区上并行运行cluster_dp算法确定聚簇中心，使得数据对象具有相同的局部密度；

(3)通过网格内及相邻网格间的聚簇合并优化策略进行局部结果合并，完成聚类处理。

作为优选，所述空间网格的定义如下：

将空间S划分为若干个互不重叠的子区域，则每一区域为一个空间网格，记为G；其中为网格边界端点在第k维数轴上的投影。

作为优选，所述相邻网格的定义如下：

对于任意存在则称网格g₁和g₂相邻。

作为优选，所述(1.1)具体如下；

利用二叉索引生成空间网格，其中，索引的每个节点记录网格的基本信息与网格内数据对象数目，采取自上向下策略逐层分割空间并构建网格索引，将空间二等分，存储生成的子网格信息于网格索引，并访问新生网格，将新生网格再次二等分并存储，直至生成的子网格边界长度不大于给定的预值。

作为优选，所述步骤(1.3)具体为：在得到完整索引结构后，遍历索引，查找数据量小于给定值的最大网格，找到后则停止继续往下遍历，得到空间划分的结果.据此结果映射数据对象，生成基于网格编号的Key-ValueRDD，利用Key-ValueRDD的MapPartitionWithIndex函数接口，自动生成基于网格RDD分区。

作为优选，所述改进的局部密度的定义为：设ρ′_i为数据对象p_i的改进局部密度，则有