[发明专利]基于人工智能的日志数据统计方法及相关设备

说明书

本申请提出一种基于人工智能的日志数据统计方法、装置、电子设备及存储介质，基于人工智能的日志数据统计方法包括：依据搜索系统接收日志数据统计请求，并对所述统计请求进行验证；若验证通过，则所述搜索系统依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；依据预设阈值划分所述第一目标数据集以获取第二目标数据集；依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；依据所述目标索引数据集进行数据统计以获取目标日志数据。本申请可以在节省日志数据的存储空间的基础上利用构建的索引值对日志数据进行快速统计，提高大规模日志数据的统计效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的日志数据统计方法、装置、电子设备及存储介质。

背景技术

Elasticsearch(简称ES)是一种基于Lucene底层技术的分布式全文搜索服务器，通过提高数据入库与过滤性能的机制，能够在一定程度上实现快速查询。

日志的分析统计是日志系统工作中的重要依据，业界许多日志系统都把日志存储在Elasticsearch集群中。然而，当对大规模的日志数据进行统计分析时，Elasticsearch集群响应会很缓慢或者直接报错，从而大大降低对大规模日志数据的统计效率。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的日志数据统计方法及相关设备，以解决如何提高大规模日志数据的统计效率这一技术问题，其中，相关设备包括基于人工智能的日志数据统计装置、电子设备及存储介质。

本申请提供一种基于人工智能的日志数据统计方法，所述方法包括：

依据搜索系统接收日志数据统计请求，并对所述统计请求进行验证；

若验证通过，则所述搜索系统依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；

依据预设阈值划分所述第一目标数据集以获取第二目标数据集；

依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；

依据所述目标索引数据集进行数据统计以获取目标日志数据。

如此，通过对日志数据进行分类存储，然后依据预设逻辑对日志数据进行压缩后构建索引值，从而可以在节省日志数据的存储空间的基础上利用构建的索引值对日志数据进行快速统计，提高大规模日志数据的统计效率。

在一些实施例中，所述依据搜索系统接收日志数据统计请求，并对所述统计请求进行验证包括：

依据预设方式对不同数据类型的日志数据设置编码标签；

基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定所述统计请求是否合格，若合格，则验证通过。

如此，可通过设置的编码标签判断所述统计请求是否合格，从而保证用户的统计请求准确性，防止异常统计请求所造成的系统资源浪费。

在一些实施例中，所述若验证通过，则所述搜索系统依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集包括：

所述搜索系统基于所述日志数据的数据类型、时间范围和取值范围收集对应的日志数据，并将收集到的日志数据进行列式存储以作为所述第一目标数据集。

如此，所述搜索系统可根据用户给定的统计请求从服务端快速获取对应的日志数据，为后续过程提供准确的数据支撑。

在一些实施例中，所述依据预设阈值划分所述第一目标数据集以获取第二目标数据集包括：

依据预设阈值判断所述第一目标数据集的数据量以获取判断结果；

基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集；