[发明专利]分布式日志数据监控方法及装置

权利要求书

1.一种分布式日志数据监控方法，其特征在于，包括：

获取各分布式节点的日志数据；

根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。

2.如权利要求1所述的分布式日志数据监控方法，其特征在于，获取各分布式节点的日志数据包括：

采集每个分布式节点的日志数据；

对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；

获取处理后的日志数据。

3.如权利要求2所述的分布式日志数据监控方法，其特征在于，采集每个分布式节点的日志数据，包括：利用Filebeat工具采集每个分布式节点的日志数据。

4.如权利要求3所述的分布式日志数据监控方法，其特征在于，获取各分布式节点的日志数据还包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中；

对所述日志数据进行预处理，包括：拉取所述消息队列中的日志数据，对所述日志数据进行预处理。

5.如权利要求4所述的分布式日志数据监控方法，其特征在于，利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中，包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入Kafka工具的消息队列中；

对所述日志数据进行预处理，包括：利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理，将处理结果存入ElasticSearch工具中；

从ElasticSearch工具中获取处理后的日志数据。

6.如权利要求5所述的分布式日志数据监控方法，其特征在于，还包括：从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理。

7.如权利要求6所述的分布式日志数据监控方法，其特征在于，从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理，包括：从ElasticSearch工具中获取处理后的日志数据后，利用Kibana工具对所述日志数据进行可视化检索处理。

8.如权利要求1所述的分布式日志数据监控方法，其特征在于，基线数据包括：历史日志数据的标准差范围数据；

根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成，包括：根据所述日志数据和预先生成的标准差范围数据，进行分布式日志数据监控，其中所述标准差范围数据根据历史日志数据预先生成。

9.如权利要求8所述的分布式日志数据监控方法，其特征在于，所述标准差范围数据按如下方式根据历史日志数据预先生成：

根据历史日志数据，确定历史日志数据的均值和标准差；

根据所述历史日志数据的均值和标准差，生成标准差范围数据。

10.一种分布式日志数据监控装置，其特征在于，包括：

获取模块，用于获取各分布式节点的日志数据；

监控模块，用于根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。

11.如权利要求10所述的分布式日志数据监控装置，其特征在于，所述获取模块进一步用于：

采集每个分布式节点的日志数据；

对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；

获取处理后的日志数据。

12.如权利要求11所述的分布式日志数据监控装置，其特征在于，所述获取模块进一步用于：利用Filebeat工具采集每个分布式节点的日志数据。