[发明专利]一种海量数据聚类分析方法及装置

权利要求书

1.一种海量数据聚类分析方法，其特征在于：包括以下步骤：

S1、基于交叠分区的GeoHash编码算法对原始数据进行处理，确定原始数据中的各个数据对应的分区；

S2、在每个分区内对分区内的数据并行进行聚类，并保存聚类ID；

S3、将分区结果进行合并得到全局的类簇ID。

2.根据权利要求1所述的一种海量数据聚类分析方法，其特征在于：所述步骤S1中基于交叠分区的GeoHash编码算法对原始数据进行处理，确定原始数据中的各个数据对应的分区的方法包括：

确定交叠分区的方法：将原始分区沿各个维度向外扩展epsilon邻域得到交叠分区。

3.根据权利要求2所述的一种海量数据聚类分析方法，其特征在于：在进行交叠分区的GeoHash编码算法时，epsilon不能超过重要维度上下界之差的15%或本维度上下界之差的15%。

4.根据权利要求2所述的一种海量数据聚类分析方法，其特征在于：所述步骤S1中GeoHash编码算法对原始数据进行处理，确定原始数据中的各个数据对应的分区的方法包括以下步骤：

S101、初始化Hash值为二进制数0、迭代次数为0、给定迭代次数N、每个维度上界和下界；

S102、对于任意数据D，选定维度为迭代次数关于维度数取模，当数据D在该维度的值不大于该维度的上界和下界的中点时，则Hash值左移一位，然后将该维度的上界更新为原该维度的中点，迭代次数加1；当数据D在该维度的值大于该维度的上界和下界的中点时，则Hash值左移一位加1，然后将该维度的下界更新为原该维度的中点，迭代次数加1；

S103、重复S102到迭代次数为N，当迭代次数为N时转入步骤S104；

S104、输出数据D所在区域的Hash值作为GeoHash编码；

S105、遍历原始数据，获取原始数据中所有数据的GeoHash编码。

5.根据权利要求4所述的一种海量数据聚类分析方法，其特征在于：当步骤S103重复步骤S102到迭代次数为N-1时，转入步骤S106；

S106、判断数据D在该维度的值与该维度的上界和下界的中点距离是否不大于epsilon，若不大于epsilon，则输出两个Hash值，分别为Hash左移一位和Hash左移一位加1，迭代次数加1后转入步骤S103，若大于epsilon，则转入步骤S102。

6.根据权利要求1所述的一种海量数据聚类分析方法，其特征在于：所述步骤S2中采用的聚类方法为DBSCAN聚类。

7.根据权利要求1所述的一种海量数据聚类分析方法，其特征在于：所述步骤S3中采用最大连通图算法得到全局的类簇ID。

8.根据权利要求7所述的一种海量数据聚类分析方法，其特征在于：所述步骤S3中采用最大连通图算法得到全局的类簇ID的具体方法包括以下步骤：

S301、遍历所有的交叠点，在任意交叠点P所属的分区集合SP={Si,Sj,..}中，对任意两个分区Si、Sj，交叠点P在Si中属于Cu类簇，在Sj中属于Cv类簇，当交叠点P在其中一个分区中为密度可达点且在另一个分区中为核心点时，则以Cu|Si和Cv|Sj为顶点，向图G中添加一条边；

S302、对图G进行最大连通图算法，每个最大连通子图对应一个类簇ID；

S303、遍历所有的点，每个点所属的类簇以Cm|Sn的形式表示，如果Cm|Sn为步骤S302中图G中的一个顶点则以该顶点在图G中的最大连通子图的类簇ID表示该点。

9.一种海量数据聚类装置，其特征在于：包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令，实现如权利要求1所述的一种海量数据聚类分析方法。