[发明专利]一种日志统计方法、装置及系统

权利要求书

1.一种日志统计方法，其特征在于，应用于日志统计系统，所述日志统计系统包括logstash、kafka以及mysql数据库，方法包括：

通过所述logstash获取日志数据，将所述日志数据通过所述logstash的kafka output插件输出到所述kafka中；

消费存储于所述kafka中的日志数据，并统计已消费日志数据，得到统计结果，将所述统计结果输出到所述mysql数据库中。

2.如权利要求1所述的方法，其特征在于，所述统计已消费日志数据，得到统计结果，将所述统计结果输出到所述mysql数据库中，包括：

在第一时刻统计生成时间在第一时间段内的已消费日志数据，得到第一统计结果；

判断所述mysql数据库中是否已有第二统计结果，其中，所述第二统计结果为在第二时刻统计的生成时间在所述第一时间段内的已消费日志数据的统计结果，所述第二时刻为所述第一时刻之前的时刻；

若有，则将所述第一统计结果与所述mysql数据库中的所述第二统计结果进行合并；

若没有，则将所述第一统计结果插入所述mysql数据库中。

3.如权利要求1或2所述的方法，其特征在于，所述日志统计系统还包括elasticsearch，所述通过所述logstash获取日志数据之后，还包括：

将所述日志数据通过所述logstash的elasticsearch output插件输出到所述elasticsearch中；

将存储于elasticsearch中日志数据与所述mysql数据库中的所述统计结果进行比较，判断所述mysql数据库中的所述统计结果是否存在错误；

若存在，则删除所述mysql数据库中的错误统计结果。

4.如权利要求3所述的方法，其特征在于，所述删除所述mysql数据库中的错误统计结果之后，还包括：

将第一日志数据输出到所述kafka中，其中，所述第一日志数据为所述elasticsearch中与所述错误统计结果对应的日志数据；

消费存储于所述kafka中的所述第一日志数据，并统计已消费所述第一日志数据，得到第三统计结果，将所述第三统计结果输出到所述mysql数据库中。

5.一种日志统计装置，其特征在于，应用于日志统计系统，所述日志统计系统包括logstash、kafka以及mysql数据库，包括：

获取模块，用于通过所述logstash获取日志数据，将所述日志数据通过所述logstash的kafka output插件输出到所述kafka中；

统计模块，用于消费存储于所述kafka中的日志数据，并统计已消费日志数据，得到统计结果，将所述统计结果输出到所述mysql数据库中。

6.如权利要求5所述的装置，其特征在于，所述统计模块，具体用于：

在第一时刻统计生成时间在第一时间段内的已消费日志数据，得到第一统计结果；

判断所述mysql数据库中是否已有第二统计结果，其中，所述第二统计结果为在第二时刻统计的生成时间在所述第一时间段内的已消费日志数据的统计结果，所述第二时刻为所述第一时刻之前的时刻；

若有，则将所述第一统计结果与所述mysql数据库中的所述第二统计结果进行合并；

若没有，则将所述第一统计结果插入所述mysql数据库中。

7.如权利要求5或6所述的装置，其特征在于，所述日志统计系统还包括elasticsearch，所述装置还包括第一处理模块，用于：

将所述日志数据通过所述logstash的elasticsearch output插件输出到所述elasticsearch中；

将存储于elasticsearch中日志数据与所述mysql数据库中的所述统计结果进行比较，判断所述mysql数据库中的所述统计结果是否存在错误；

若存在，则删除所述mysql数据库中的错误统计结果。