[发明专利]一种基于弹性分布数据集的海量空间数据密度聚类方法

权利要求书

1.一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于，包括如下步骤：

(1)基于数据在空间的分布情况，引入空间网格索引生成基于网格RDD分区：

(1.1)利用二叉索引生成空间网格，结合自上向下策略逐层分割空间并构建网格索引，直至生成的子网格边界长度不大于给定的预值；

(1.2)采用MAP-Reduce思想，统计各层网格内数据对象的数目，广播索引结构并均分待聚类数据对象到各计算节点，归并网格内数据量信息，得到完整的网格索引结构；

(1.3)遍历索引，查找数据量小于给定值的最大网格，根据查找结果生成基于网格编号的Key-Value RDD，生成基于网格RDD分区：

(2)进行分区内聚类计算：以改进的局部密度定义为依据，在得到的各个分区上并行运行cluster_dp算法确定聚簇中心，使得数据对象具有相同的局部密度；

(3)通过网格内及相邻网格间的聚簇合并优化策略进行局部结果合并，完成聚类处理。

2.根据权利要求1所述的一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于：所述空间网格的定义如下：

将空间S划分为若干个互不重叠的子区域，则每一区域为一个空间网格，记为G；其中为网格边界端点在第k维数轴上的投影。

3.根据权利要求1所述的一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于：所述相邻网格的定义如下：

对于任意存在则称网格g₁和g₂相邻。

4.根据权利要求1所述的一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于：所述(1.1)具体如下；

利用二叉索引生成空间网格，其中，索引的每个节点记录网格的基本信息与网格内数据对象数目，采取自上向下策略逐层分割空间并构建网格索引，将空间二等分，存储生成的子网格信息于网格索引，并访问新生网格，将新生网格再次二等分并存储，直至生成的子网格边界长度不大于给定的预值。

5.根据权利要求1所述的一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于：所述步骤(1.3)具体为：在得到完整索引结构后，遍历索引，查找数据量小于给定值的最大网格，找到后则停止继续往下遍历，得到空间划分的结果.据此结果映射数据对象，生成基于网格编号的Key-ValueRDD，利用Key-ValueRDD的MapPartitionWithIndex函数接口，自动生成基于网格RDD分区。

6.根据权利要求1所述的一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于：所述改进的局部密度的定义为：设ρ′_i为数据对象p_i的改进局部密度，则有

其中，以给定数据对象p_i为中心，其半径为dc内的k维空间称为p_i的dc邻域.对dc邻域内的数据对象p_j，有dist(p_i,p_j)<dc。

7.根据权利要求1所述的一种基于弹性分布数据集的海量空间数据密度聚类方法，其特征在于：所述在运行cluster_dp算法时，设计辅助函数γ自动判定聚簇中心，具体如下：

已知数据对象的局部密度为ρ′_i，其最小高密度距离为δ_i，则设：

其中，max(ρ)*max(δ)为网格内最大局部密度与最小高密度值的乘积；ρ_i为局部密度，定义为p_i的dc邻域内数据对象的数目称为p_i的局部密度，记为ρ_i，公式如下：

其中，