[发明专利]日志处理系统及其处理方法

说明书

本发明公开了一种日志处理系统及其处理方法。其中，该系统包括：日志数据采集器，所述日志数据采集器由二进制文件构成，用于采集本地的日志数据；分布式流平台，获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；解析器，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。本发明解决了现有技术中对日志处理时运算资源消耗较大的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种日志处理系统及其处理方法。

背景技术

分布式日志系统基于ELK(Elasticsearch、Logstash、Kibana)开源组件实现。ELK是Elasticsearch，Logstash，Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案。ELK主要进行日志搜索，分析获取数据，并实时进行展示。

其中，Logstash的主要作用就是一个数据收集器，将各种格式各种渠道的数据通过它收集解析之后格式化输出到Elasticsearch，最后再由Kibana提供的比较友好的Web界面进行汇总、分析、搜索。但Logstash存在的问题是，它的资源消耗过大(默认的堆大小是1GB)。

图1是相关技术中ELK的架构示意图，结合图1所示，传统的ELK架构中，由Logstash分布于各个节点上搜集相关日志、数据，并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API(Application Programming Interface，应用程序接口)供用户查询，操作。用户再通过配置Kibana Web方便的对日志查询，并根据数据生成报表。这样的传统架构中，由于Logstash耗资源较大，因此会导致运行占用CPU和内存太高

针对现有技术中对日志处理时运算资源消耗较大的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志处理系统及其处理方法，以至少解决现有技术中对日志处理时运算资源消耗较大的技术问题。

根据本发明实施例的一个方面，提供了一种日志处理系统，包括：日志数据采集器，所述日志数据采集器由二进制文件构成，用于采集本地的日志数据；分布式流平台，获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；解析器，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

进一步地，日志数据采集器包括：查找器，用于查看所述日志数据所在的路径，并启动采集器；所述采集器，用于被所述查找器启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

进一步地，上述系统还包括：搜索服务器，用于从所述解析器解析过的日志数据中搜索指定的日志数据。

进一步地，上述系统还包括：可视化平台，用于对所述解析器解析过的日志数据进行可视化展示。

根据本发明实施例的一个方面，提供了一种日志处理系统的日志处理方法，所述日志处理系统包括上述的日志处理方法，上述方法包括：通过日志数据采集器采集本地的日志数据，其中，所述日志数据采集器由二进制文件构成；通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

进一步地，通过日志数据采集器采集本地的日志数据，包括：查看所述日志数据所在的路径，并启动采集器，其中，所述采集器被启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

进一步地，上述方法还包括：从所述解析器解析过的日志数据中搜索指定的日志数据。

进一步地，上述方法还包括：对解析过的日志数据进行可视化展示。