[发明专利]基于ELK的可视化监控系统及方法

说明书

本发明公开了基于ELK的可视化日志监控系统及方法，包括：日志收集模块、日志解析与转化模块、日志存储模块以及日志查询与显示模块。可视化日志监控系统的执行方法包括：S1.使用Filebeat对日志文件进行收集，并传入Logstash中；S2.通过Logstash的事件机制进行解析、过滤并输出为日志数据；S3.将日志数据存入ElasticSearch中；S4.通过显示器在ElasticSearch中查找并显示相应的日志数据。有效地解决了日志管理多为单机模式不支持集群且应用日志分散，无法集中收集及其存储，海量日志存储和检索、文件存储或者db等存储，不便于归档、查看、精确查找和定位等问题。

技术领域

本发明涉及日志监控技术领域，具体为基于ELK的可视化日志监控系统及方法。

背景技术

日志是业务管理系统中非常重要的信息和数据，通过日志可以了解系统负荷情况，潜在的性能问题及其安全性，它对信息安全整个过程中关键记录信息的监控统计，特别针对偶发性问题、描述模糊的问题、安全事故分析、追踪，日志起到了关键性作用。常见的日志管理系统，包括基于logback日志实现和slf4j日志接口的零配置结构化日志管理组件；基于ELK日志解决方案,由ElasticSearch、Logstash、Kibana三款开源软件组成。

现有的日志管理系统多为单机模式不支持集群，且应用日志（Nginx日志、慢SQL日志、微服务、安全等日志）分散，无法集中收集及其存储，潜在性能问题和风险无法即时发现。海量日志存储和检索提出了新的挑战，文件存储或者db等存储，不便于归档、查看、精确查找和定位问题。

发明内容

本发明提供一种基于ELK的可视化日志监控系统，包括：日志收集模块、日志解析与转化模块、日志存储模块以及日志查询与显示模块。

进一步地，所述日志收集模块用于收集系统内各个类型的日志文件；日志解析与转化模块用于将收集到的日志文件解析并转化为日志数据；日志存储模块用于存储以及转化后的日志数据；日志查询与显示模块用于从日志存储模块中查询相应日志数据并将查询到的数据通过显示器显示出来。

一种基于ELK的可视化日志监控方法，包括：S1.使用Filebeat对日志文件进行收集，并传入Logstash中；S2.通过Logstash的事件机制进行解析、过滤并输出为日志数据；S3.将日志数据存入ElasticSearch中；S4.通过显示器在ElasticSearch中查找并显示相应的日志数据。

进一步地，还包括针对于网关日志、关键行为、业务指标埋点等日志，S1.日志文件通过logback的appender直接导入logstash。

进一步地，所述S1步骤中日志文件包括：网管请求日志、Log文件日志、业务日志、登录和菜单日志、关键行为日志、慢SQL日志、定时任务日志、消息队列日志、异常日志、导出日志、批量审批日志、搜索帮助日志。

进一步地，S2步骤中所述的日志数据格式为json。

进一步地，所述ElasticSearch中的日志数据根据业务的日志量进行按天、按周、按月的多粒度索引管理。

本发明提供基于ELK的可视化日志监控系统及方法，有效地解决了现有技术中日志管理系统多为单机模式不支持集群，且应用日志分散，无法集中收集及其存储，潜在性能问题和风险无法即时发现；海量日志存储和检索、文件存储或者db等存储，不便于归档、查看、精确查找和定位等问题。

附图说明

图1为本发明所提供的基于ELK的可视化日志监控系统及方法的结构示意图；

图2为本发明所提供的基于ELK的可视化日志监控系统及方法的流程图。

具体实施方式

以下结合附图对本发明的实施方法进行详细说明，所描述的仅为部分实施例，并非全部实施例，为了清楚的目的，在附图及说明中省略了与本发明无关的表示及描述。