[发明专利]一种基于k均值聚类算法的搜索引擎聚合分析方法及系统

说明书

本发明涉及计算机技术领域，提供一种基于k均值聚类算法的搜索引擎聚合分析方法及系统，所述方法包括：批量导入数据，并分析导入的批量数据的各个变量所对应的数据类型以及数据分布特征；利用k均值聚类算法对分析后的所有变量数据进行横向聚合分析，从而丰富用户对搜索引擎Elastisearch聚合分析的操作，方便对搜索数据进行整体的探索分析，通过引入KMeans算法，增强了实际应用性及广泛性。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于k均值聚类算法的搜索引擎聚合分析方法及系统。

背景技术

搜索引擎ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，使用ElasticSearch进行搜索或是数据探索及分析时，常常会用到聚合分析操作。

ElasticSearch开源内置的聚合分析方法，包含统计聚合、过滤聚合、最大桶数聚合以及矩阵统计聚合等针对某一个字段或多个字段进行纵向的聚合分析方法，只能实现一些简单的统计数量的分析，方法简单，且在很大程度上具有一定的局限性。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于k均值聚类算法的搜索引擎聚合分析方法，旨在解决现有技术中ElasticSearch开源内置的聚合分析方法，只能实现一些简单的统计数量的分析，方法简单，且在很大程度上具有一定的局限性的问题。

本发明所提供的技术方案是：一种基于k均值聚类算法的搜索引擎聚合分析方法，所述方法包括下述步骤：

批量导入数据，并分析导入的批量数据的各个变量所对应的数据类型以及数据分布特征；

利用k均值聚类算法对分析后的所有变量数据进行横向聚合分析。

作为一种改进的方案，所述分析导入的批量数据的各个变量所对应的数据类型以及数据分布特征的步骤具体包括下述步骤：

对导入的批量数据进行变量识别，判断导入的批量数据的变量的数据类型，其中，所述变量的数据类型包括单变量、双变量和多变量；

对导入的批量数据的每一种类型的变量进行分析，获取各个类型变量的数据类型以及数据分布特征；

对获取到的各个类型的变量的数据类型以及数据分布特征进行解析判断，判断各个变量的数据类型和数据分布特征是否为正常业务关系数据，所述正常业务关系数据为符合实际业务数据且不存在明显异常和不合理的业务数据；

当存在非正常业务关系数据时，根据实际业务场景对非正常业务关系数据进行相应处理；

其中，所述非正常业务关系数据包括字段非数值型的变量数据和维数大于等于预设阈值的变量数据。

作为一种改进的方案，所述当存在非正常业务关系数据时，根据实际业务场景对非正常业务关系数据进行相应处理的步骤具体包括下述步骤：

当所述非正常业务关系数据为字段非数值型的变量数据时，将字段非数值型的变量数据转换为字段数值型的变量数据；

对转换后的变量数据进行分层处理，且分层处理后的变量数据作为k均值聚类算法的输入。

作为一种改进的方案，所述当存在非正常业务关系数据时，根据实际业务场景对非正常业务关系数据进行相应处理的步骤还包括下述步骤：

当所述非正常业务关系数据为维数大于等于预设阈值的变量数据时，对所述非正常业务关系数据进行违规约处理，且违规约处理后的变量数据作为k均值聚类算法的输入。

本发明的另一目的在于提供一种基于k均值聚类算法的搜索引擎聚合分析系统，所述系统包括：

数据分析模块，用于批量导入数据，并分析导入的批量数据的各个变量所对应的数据类型以及数据分布特征数据类型以及数据分布特征；