[发明专利]一种数据聚类方法、装置和设备

说明书

本发明提供了一种数据聚类方法、装置和设备，所述数据聚类方法包括：根据网络平台上基础数据，确定所述基础数据的第一聚类结果；获取每一阶段加入所述基础数据的增量数据；根据每一阶段的所述增量数据，确定每一阶段的所述增量数据的第二聚类结果；根据所述第一聚类结果和所述第二聚类结果，得到全量数据的目标聚类结果；其中，所述全量数据包括所述基础数据，当前阶段加入所述基础数据的增量数据，以及当前阶段之前加入所述基础数据的增量数据。本发明方案，可以实现实时获得全量数据的聚类结果，减少数据聚类方法处理数据时间长，并且可以避免全量数据的多次读入和读出，有效减少内存消耗，降低硬件设备的成本。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据聚类方法、装置和设备。

背景技术

随着物联网和5G网络等技术的快速发展产生了大量且连续的动态流数据，及时快速的分析出流数据中的有价值信息，将带来巨大的盈利。由于流数据的新特性，传统方法用于流数据处理存在时间上和资源上的弊端。首先，使用传统的静态数据聚类方法会耗费大量的处理时间，由于数据价值与时间成反比，处理时间长造成数据价值降低。其次，传统方法以全量数据为计算对象，每次执行都需要较大的内存空间，造成计算资源的浪费，提高数据分析的成本。

因此，需要一种数据聚类方法，解决现有数据聚类方法处理数据时间长且消耗内存大的问题。

发明内容

本发明实施例提供一种数据聚类方法、装置和设备，用以解决现有技术中，数据聚类方法处理数据时间长且消耗内存大的问题。

为了解决上述技术问题，本发明实施例提供如下技术方案：

本发明实施例提供一种数据聚类方法，包括：

根据网络平台上基础数据，确定所述基础数据的第一聚类结果；

获取每一阶段加入所述基础数据的增量数据；

根据每一阶段的所述增量数据，确定每一阶段的所述增量数据的第二聚类结果；

根据所述第一聚类结果和所述第二聚类结果，得到全量数据的目标聚类结果；

其中，所述全量数据包括所述基础数据，当前阶段加入所述基础数据的增量数据，以及当前阶段之前加入所述基础数据的增量数据。

可选地，所述方法还包括：

根据所述目标聚类结果，得到所述全量数据的目标特征参数。

可选地，根据网络平台上基础数据，确定所述基础数据的第一聚类结果，包括：

通过预选中心算法，确定所述基础数据的第一初始中心；

根据所述第一初始中心，对所述基础数据进行聚类，得到所述第一聚类结果。

可选地，获取每一阶段加入所述基础数据的增量数据，包括：

在目标阶段加入所述基础数据的目标数据的数据量达到预设阈值的情况下，确定所述目标数据为所述目标阶段加入所述基础数据的增量数据；

或，

在目标阶段加入所述基础数据的目标数据的加入时长达到预设时长的情况下，确定所述目标数据为所述目标阶段加入所述基础数据的增量数据；

其中，所述目标阶段为所述每一阶段的其中之一。

可选地，根据每一阶段的所述增量数据，确定每一阶段的所述增量数据的第二聚类结果，包括：

通过预选中心算法，确定每一阶段的所述增量数据的第二初始中心；

根据所述第二初始中心，对每一阶段的所述增量数据进行聚类，得到所述第二聚类结果。