[发明专利]基于Spark内存计算大数据平台的OPTICS点排序聚类方法

摘要

本发明提供一种基于Spark大数据平台的OPTICS聚类算法，涉及计算机信息获取和处理技术。本发明通过对并行数据结构划分，得到最优数据集划分并生成对应的RDD，并行计算邻居样本数量和核心距离，对每个分区并行执行OPTICS算法得到每个分区的簇排序并持久化存储，通过簇排序给每个分区赋予簇后，通过合并分区，每个样本能够得到全局的簇号。利用Spark分布式并行技术，找到最优的划分结构，并行计算得到每个分区的簇排序。通过OPTICS的簇排序，用户可以从不同层次结构进行观察数据集的内在聚类结构。该方法可以处理串行算法不能处理的大规模的数据集，并大幅度提高得到聚类结果的时间。

主权项

一种基于Spark大数据平台的数据集聚类方法，其特征在于，将数据集转化成Spark平台的分布式数据集RDD，对RDD数据集进行划分，得到最优的数据划分结构，分割得到最优分区；并行获取每个最优分区中所有样本点的邻居样本点编号，并赋予OPTICS算法的核心距离；对每个分区执行OPTICS算法，得到每个分区的簇排序并将其存储；根据每个分区的簇排序，赋予每个样本在分区内的簇号，计算全局簇号转换Map；根据全局簇号转换Map，合并分区并更换簇号，得到聚类结果。