[发明专利]一种基于分布式架构的云日志采集方法

说明书

本发明提供一种基于分布式架构的云日志采集方法，属于信息技术领域，本发明根据组件的特性，需要部署Kafka集群，Elasticsearch集群，Logstash，每台服务器安装Filebeat组件，最终搭建日志系统框架。实现系统各种日志的自动收集和实时查询分析以及第三方日志的快速导入。

技术领域

本发明涉及信息技术领域，尤其涉及一种基于分布式架构的云日志采集方法，解决系统中日志的收集和查询问题。

背景技术

在一个信息系统里，日志有着至关重要的作用，日志可以记录系统的所有行为，可以通过这些行为分析系统的使用情况，进而可以分析可优化的方向。特别是系统使用中出现的异常信息等，通过这些信息可以及时提醒相关维护人员做出响应。

为了实现系统各种日志的自动收集和实时查询分析以及第三方日志的快速导入，需要一个日志服务系统完成这一过程。分析了以下几个开源组件，作为系统的组成部分。

Elasticsearch

作为终极日志的存储组件，可实现分布式的存储、实时搜索和海量数据分析，并可将日志持久化到磁盘。而且提供开源的RESTful API接口实现日志的直接导入。

Logstash

可以收集各种格式和来源的数据，可按需要的存储格式编写解析脚本，实现数据格式的统一化输出。

Filebeat

轻量化的日志采集组件，可在服务器上安装，实现日志的持续收集和发送。

Kafka

一种高吞吐量的分布式发布订阅消息系统，能够持久性和容错性的存储日志流，可以解决日志收集的速度和处理的速度不一致问题。

发明内容

为了方便、快速、自动的收集日志，以及实时的查询分析日志，本发明提出了一种基于分布式架构的云日志采集方法，用于收集和存储系统中的各种日志进行分析展示，解决系统中日志的收集和查询问题。

本发明的技术方案是：

一种基于分布式架构的云日志采集方法，

主要经过环境部署和系统内日志收集过程，自动收集日志并持久化到磁盘，实现实时搜索和分析，并通过系统日志的展示掌握平台的使用情况；

其中，

环境部署，

根据组件的特性，需要部署Kafka 集群，Elasticsearch 集群，Logstash，每台服务器安装Filebeat 组件，最终搭建日志系统框架，

搭建日志系统框架步骤为：

1）每台服务器配置Filebeat 要收集的日志路径，设置日志发送到的传输管道Kafka的地址；

2）在Logstash中配置所有日志来源的解析文件，并设置日志的来源（Kafka地址）以及发送到Elasticsearch集群的地址；

3）启动所有组件，开始收集日志。

进一步，日志主要包括以下日志内容：

1）系统服务器自身日志；

2）系统服务器上部署应用的日志；

3）第三方应用的日志；

4）系统服务日志。

进一步的，

系统内日志收集过程包括：

自动收集和实时查询分析日志以及第三方日志的快速导入。