[发明专利]一种基于filebeats获取系统日志的运维方法及装置

说明书

本发明提供一种基于filebeats获取系统日志的运维方法及装置，所述方法包括：在布署系统的服务器上安装FileBeats，配置FileBeats文件的输出地址；FileBeats监控系统中不同服务输出的日志文件，读取日志文件的数据，生成FileBeats文件，将所述FileBeats文件发送到Logstash服务；Logstash服务接收并解析所述FileBeats文件，解析生成半结构化数据；Logstash服务将所述半结构化数据文件推送至ES服务；从所述ES服务中获取半结构化数据文件，分析系统的服务的运行状态。根据本发明的方案，运维人员无需登录服务，就可以实时观察、分析系统状态，还能够通过日志详细查看具体服务的错误日志。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于filebeats获取系统日志的运维方法及装置。

背景技术

随着系统的发展及功能的日渐完善，系统有越来越多的服务日志，这些日志可能是由多个不同服务产生的。运维人员查看日志可以确定潜在的故障风险、解决故障。

但系统能够提供的服务越来越多，所产生的日志的数量呈指数增长，运维人员需要登录各个服务，在多个服务之间切换，以查看日志，进而检查系统的健康情况。运维人员由于频繁登陆各个服务，影响了运维人员的工作效率，提升了运维人员的运维成本。

因此，需要对系统运维人员获取日志信息的方式进行改进，使得系统运维人员无需登录系统中的服务，就可以获取日志，用以检查系统的健康情况。

发明内容

为解决上述技术问题，本发明提出了一种基于filebeats获取系统日志的运维方法及装置，所述方法及装置，用以解决现有技术中运维人员由于频繁登陆各个服务，影响了运维人员的工作效率的问题。

根据本发明的第一方面，提供一种基于filebeats获取系统日志的运维方法，所述方法包括以下步骤：

步骤S101：在布署系统的服务器上安装FileBeats，配置FileBeats文件的输出地址，使FileBeats文件的输出地址指向Logstash服务对应的IP地址和端口；

步骤S102：FileBeats监控系统中不同服务输出的日志文件，读取日志文件的数据，生成FileBeats文件，将所述FileBeats文件发送到Logstash服务；

步骤S103：Logstash服务接收并解析所述FileBeats文件，解析日志信息、日志中记录的访问内容、时间、IP地址，解析生成半结构化数据；

步骤S104：Logstash服务将所述半结构化数据文件推送至ES服务，并由ES服务存储所述半结构化数据文件；

步骤S105：从所述ES服务中获取半结构化数据文件，分析系统的服务的运行状态。

进一步地，FileBeats使用tail-f命令读取日志文件的数据。

进一步地，所述半结构化数据为半结构化的日志结构，是JSON格式的数据，所述半结构化数据包括日志文件中记录的IP地址、内容、时间。

进一步地，所述步骤S104：Logstash服务将所述半结构化数据文件推送至ES服务，并由ES服务存储所述半结构化数据文件，其中：

ES服务与Logstash服务对接时，Logstash的服务配置文件仅需要配置ES服务的地址、端口，以及存储的索引正则表达式，即可完成所述半结构化数据的存储。

根据本发明第二方面，提供一基于filebeats获取系统日志的运维装置，所述装置包括：

配置模块：配置为在布署系统的服务器上安装FileBeats，配置FileBeats文件的输出地址，使FileBeats文件的输出地址指向Logstash服务对应的IP地址和端口；