[发明专利]一种日志分析系统、方法及装置

说明书

本说明书实施例提供一种日志分析系统、方法及装置。所述方法包括：获取表征日志内容的日志变量；对所述日志变量进行格式化，得到格式化后的日志数据；为所述日志数据建立时间标签，将带有时间标签的日志数据存储至时序数据库中；基于所述时序数据库，查询得到预设时间段内的日志数据；将所述预设时间段内的日志数据存入分析数据库中，以便于对所述分析数据库中的日志数据进行分析，从而提高日志分析的效率。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种日志分析系统、方法及装置。

背景技术

Nginx是一个以高性能、高并发著称的HTTP和反向代理web服务器，它支持HTTP(HyperText Transfer Protocol，超文本传输协议)反向代理、TCP(Transmission ControlProtocol，传输控制协议)代理、负载均衡、HTTP缓存及Web开发等。

Ngnix程序在运行的过程中，会根据配置记录运行日志，在运行日志中包含HTTP请求、HTTP响应信息，这些信息对调试Web程序非常重要。例如通过日志可以得到用户的IP地址、浏览器的信息，请求的处理时间等信息。目前常见的Nginx日志分析管理系统方案主要包括使用单机分析工具，例如ngxtop或者GoAccess，适合用于小型单机网站或临时问题分析。

采用单机分析工具的方案，一般来说安装和使用都比较简单，可以按需要采用不同分析工具提供的分析数据，对Nginx版本没有依赖，只要日志格式符合要求即可。

但随着网站规模的扩大，采用单机分析工具的方案缺点日益显现，例如无法使用自定义监控数据，不支持Nginx集群采集，日志格式不灵活等，使得日志分析的效率不高。

发明内容

本说明书实施例的目的是提供一种日志分析系统、方法及装置，以提高日志分析的效率。

为解决上述问题，本说明书实施例提供一种日志分析系统，所述系统包括采集模块、存储模块和分析模块；所述采集模块，用于获取表征日志内容的日志变量，对所述日志变量进行格式化，得到格式化后的日志数据，将所述日志数据传输至所述存储模块；所述存储模块，用于为所述日志数据建立时间标签，将带有时间标签的日志数据存储至时序数据库中；所述分析模块，用于基于所述时序数据库，查询得到预设时间段内的日志数据，将所述预设时间段内的日志数据存入分析数据库中，以便于对所述分析数据库中的日志数据进行分析。

为解决上述问题，本说明书实施例还提供一种日志分析方法，所述方法包括：获取表征日志内容的日志变量；对所述日志变量进行格式化，得到格式化后的日志数据；为所述日志数据建立时间标签，将带有时间标签的日志数据存储至时序数据库中；基于所述时序数据库，查询得到预设时间段内的日志数据；将所述预设时间段内的日志数据存入分析数据库中，以便于对所述分析数据库中的日志数据进行分析。

为解决上述问题，本说明书实施例还提供一种日志分析装置，所述装置包括：获取模块，用于获取表征日志内容的日志变量；格式化模块，用于对所述日志变量进行格式化，得到格式化后的日志数据；存储模块，用于为所述日志数据建立时间标签，将带有时间标签的日志数据存储至时序数据库中；查询模块，用于基于所述时序数据库，查询得到预设时间段内的日志数据；分析模块，用于将所述预设时间段内的日志数据存入分析数据库中，以便于对所述分析数据库中的日志数据进行分析。

为解决上述问题，本说明书实施例还提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现：获取表征日志内容的日志变量；对所述日志变量进行格式化，得到格式化后的日志数据；为所述日志数据建立时间标签，将带有时间标签的日志数据存储至时序数据库中；基于所述时序数据库，查询得到预设时间段内的日志数据；将所述预设时间段内的日志数据存入分析数据库中，以便于对所述分析数据库中的日志数据进行分析。