[发明专利]模糊数据聚类方法、装置、设备和存储介质

说明书

本申请公开了一种模糊数据聚类方法、装置、设备和存储介质，方法包括：对存储在每个网络数据块中的簇节点的局部网络数据进行多曲面映射的模糊数据聚类，形成局部聚类结果；集中所有局部聚类结果的中间结果，对所有中间结果进行分析合并，形成网络中所有簇节点的临时聚类信息和所有聚类转换的类映射表；根据所有簇节点的临时聚类信息确定所有簇节点的最终状态；根据所有簇节点的最终状态和类别的映射表确定所有簇节点的聚类结果。本申请解决了现有模糊数据聚类方法效率比较低下的问题。

技术领域

本申请涉及数据挖掘技术领域，尤其涉及模糊数据聚类方法、装置、设备和存储介质。

背景技术

随着现代信息技术的发展，人们希望有效地对大规模数据网络进行分析和处理。然而时间和空间的相对高复杂性以及物理内存的不足，使得传统的聚类方法无法处理。因此，对大规模数据网络进行分析和处理的模糊数据聚类方法一直是相关人员的研究热点。

现有的模糊数据聚类方法主要有：序贯法、抽样法、分布法等。上述方法虽然都取得了一定的效果，但是在对大规模、分布广泛、增长迅速的数据进行处理的时候，都存在效率比较低下的问题。

发明内容

有鉴于此，本申请提供了模糊数据聚类方法、装置、设备和存储介质，解决了现有的模糊数据聚类方法效率低下的技术问题。

本申请第一方面提供了一种模糊数据聚类方法，包括：

对存储在每个网络数据块中的簇节点的局部网络数据进行多曲面映射的模糊数据聚类，形成局部聚类结果；

集中所有局部聚类结果的中间结果，对所述所有中间结果进行分析合并，形成网络中所有簇节点的临时聚类信息和所有聚类转换的类映射表；

根据所述所有簇节点的临时聚类信息确定所述所有簇节点的最终状态；

根据所述所有簇节点的最终状态和类别的映射表确定所述所有簇节点的聚类结果。

可选地，对存储在每个网络数据块中的簇节点的局部网络数据进行多曲面映射的模糊数据聚类，形成局部聚类结果，具体包括：

将网络数据划分为多个数据块，通过将数据处理过程转移到数据存储端的方法，对存储数据节点进行聚类分析；

将整个局部网络的数据全部读入内存，并按照多类型关系数据聚类的模糊方法进行初步聚类，形成局部聚类结果；

将局部全局信息集替换为多个局部网络信息集，使所述多个局部网络信息集能够处理海量数据；

将所述局部聚类结果提交给分布式模型。

可选地，所述集中所有局部聚类结果的中间结果，对所述所有中间结果进行分析合并，形成网络中所有簇节点的临时聚类信息和所有聚类转换的类映射表具体包括：

将一组待分析的簇节点和每个分布映射任务得到的聚类分析结果作为输入，通过社区号合并和替换簇节点合并来执行结果合并，输出每个簇节点所属的临时社区号，以及所述临时社区号和最终社区号的映射表。

可选地，所述根据所述所有簇节点的临时聚类信息确定所述所有簇节点的最终状态具体包括：

根据最终输出的最终社区号的映射表，识别所述所有簇节点的最终状态，得到所述所有簇节点的最终社区划分结果。

本申请第二方面提供了一种模糊数据聚类装置，包括：

局部聚类模块，用于对存储在每个网络数据块中的簇节点的局部网络数据进行多曲面映射的模糊数据聚类，形成局部聚类结果；

合并模块，用于集中所有局部聚类结果的中间结果，对所述所有中间结果进行分析合并，形成网络中所有簇节点的临时聚类信息和所有聚类转换的类映射表；