[发明专利]一种日志统计方法、装置及系统

说明书

本发明提供一种日志统计方法、装置及系统，用于解决现有的日志统计方法存在容易出现并发问题影响日志数据正常储存，以及中间统计结果与全量日志数据不一致的技术问题，所述方法应用于日志统计系统，所述日志统计系统包括logstash、kafka以及mysql数据库，所述方法包括：通过所述logstash获取日志数据，将所述日志数据通过所述logstash的kafka output插件输出到所述kafka中；消费存储于所述kafka中的日志数据，并统计已消费日志数据，得到统计结果，将所述统计结果输出到所述mysql数据库中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志统计方法、装置及系统。

背景技术

随着信息技术的发展，数据量迅速增长，数据的积累也越来越大。在进行数据的传输、交换和处理时，安全性是一个重妥的考虑因素，为此，许多与信息处理相关的设备(如防火墙、入侵监测系统、路由器和服务器等)都会产生日志，其中记录了设备上和网络中每天发生的各种各样的事情，可以通过对日志的查询和统计来了解各个设备和整个网络的状况。如果日志量相对较少(几百条或更少)，有经验的管理员可以通过逐条阅读，发现其中的异常，查找到所关心的事件日志并统计出数据。但是，由于在信息安全领域，为数众多的前述设备每天、甚至每时每刻都在产生日志，日志的数量已经达到每天几万条、甚至上百万条记录，这样的数量已经超出了管理员能处理的范围，管理员通过逐条阅读和处理已经无法在限定的时间内处理完这些日志了。而从这些日志中统计出的宏观数据，如：流量、非授权访问次数和入侵攻击次数等等，对于管理员了解整个网络的状况，发现问题是非常重要的。因此在审计系统中实现日志数据的统计功能是非常必要的。

目前审计系统的日志数据统计主要依赖于ELK系统，即elasticsearch、logstash和kibana，其中，elasticsearch负责日志数据检索和储存，logstash负责日志数据的收集和分析、处理，kibana负责日志数据的可视化。由于ELK系统主要支持的是专业人员的运维开发，而不是一般的客户访问，如果需要统计的日志数据数量庞大，不仅统计日志数据的效率较低，而且将对elasticsearch造成很大的性能压力，影响日志数据的正常储存。虽然一些方法可以先对中间统计结果进行预先统计与储存，例如以分钟为单位统计中间统计结果，这样一天产生的数据条数就被限制在了1440条，再对中间统计结果进行统计，从而提高统计日志数据的效率，但是，中间统计结果与全量日志数据可能存在不一致的情况，导致最终的统计结果存在错误。

可见，现有的日志统计方法存在容易出现并发问题影响日志数据正常储存，以及中间统计结果与全量日志数据不一致的问题。

发明内容

本申请实施例提供一种日志统计方法、装置及系统，用于解决现有的日志统计方法存在容易出现并发问题影响日志数据正常储存，以及中间统计结果与全量日志数据不一致的技术问题。

第一方面，为解决上述技术问题，本申请实施例提供一种日志统计方法，应用于日志统计系统，所述日志统计系统包括logstash、kafka以及mysql数据库，该方法的技术方案如下：

通过所述logstash获取日志数据，将所述日志数据通过所述logstash的kafkaoutput插件输出到所述kafka中；

消费存储于所述kafka中的日志数据，并统计已消费日志数据，得到统计结果，将所述统计结果输出到所述mysql数据库中。