[发明专利]一种日志分析系统

说明书

一种日志分析系统，所述系统包括日志采集单元、日志缓冲单元、日志分析报警单元、日志存储单元和日志查询单元。上述的方案，可以对海量日志文件进行存储，并实现日志文件的实时分析、查询和预警。

技术领域

本发明涉及数据处理技术领域，具体地涉及一种日志分析系统。

背景技术

日志在计算机系统中是一个应用广泛的概念，操作系统内核、各种应用服务器等等、程序都有可能输出日志。日志的内容、规模和用途也各不相同，很难一概而论。

现有的日志分析系统，通常由日志采集代理和日志分析管理系统构成，可以对数量较小的日志文件进行分析处理。

然而，现有的日志分析系统无法胜任海量日志文件的分析处理，并且缺乏实时分析、查询和预警能力。

发明内容

本发明解决的技术问题是如何对海量日志文件进行存储，并实现日志文件的实时分析、查询和预警。

为解决上述技术问题，本发明实施例提供了一种日志分析系统，所述系统包括：日志采集单元、日志缓冲单元、日志分析报警单元、日志存储单元和日志查询单元：

所述日志采集单元，适于采用与目标对象相对应的日志采集组件采集日志文件信息，并将所采集的日志文件信息发送至所述日志缓冲单元进行存储；

所述日志缓冲单元，适于接收所述日志采集单元发送的日志文件，并将所接收的日志文件信息添加至对应的分布式消息队列中；

所述日志分析报警单元，适于采用分布式日志分析平台获取所述分布式消息队列中的日志文件，按照预设的分析策略对所获取的日志文件进行分析，得到对应的日志分析结果；判断所述日志分析结果是否满足预设的告警条件；当确定所述日志分析结果满足预设的告警条件时，生成对应的告警信息并输出；将所述日志分析结果发送至所述日志查询单元，并将所述日志文件发送至所述日志存储单元；当所述日志文件需要进行再次分析处理时，将所述日志文件的日志分析结果重新发送至所述分布式消息队列中进行缓存；

所述日志查询单元，适于接收所述日志分析报警单元发送的日志分析结果，并构建所述日志文件与日志分析结果之间的对应关系；接收用户的日志查询请求，并按照所述日志文件与日志分析结果之间的对应关系，对所述日志存储单元中存储的日志文件进行查询并输出显示给所述用户；

所述日志存储单元，适于接收所述日志分析报警单元发送的日志文件信息并进行存储。

可选地，所述日志采集单元，适于当目标对象为Nginx系统日志时，采用Logstach组件采集所述Nginx系统的日志文件信息；当目标对象为Java系统时，采用Logback或者Appender组件采集所述Java系统的日志文件。

可选地，所述分布式日志分析平台为Storm分布式日志分析平台。

可选地，所述日志分析报警单元，适于通过微信或邮件发送所生成的告警信息。

可选地，所述分布式消息队列为kafka分布式消息队列。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

上述的方案，通过日志采集单元、日志缓冲单元、日志分析报警单元、日志存储单元和日志查询单元的设置，其中的日志缓冲单元、日志分析报警单元和日志存储单元分别采用分布式方式对日志进行缓冲、分析和存储，使得日志分析系统可以实现快速扩容和升级，提高日志文件的分析处理能力，并可以提供日志文件信息的实时查询和预警操作，提升用户的使用体验。

附图说明

图1是本发明实施例中的一种日志分析系统的组成结构示意图；

图2是本发明实施例中的日志分析系统的工作原理示意图。