[发明专利]一种日志管理的方法及装置

权利要求书

1.一种日志管理的方法，其特征在于，包括：

确定日志来源；

从所述日志来源获取待处理日志；

将获取的所述待处理日志发送给Logstash；

利用Logstash对获取的所述待处理日志进行解析和过滤处理，将解析和过滤处理后的待处理日志发送给Elasticsearch；

利用所述Elasticsearch存储接收到的所述待处理日志；

利用Kibana向用户展示所述待处理日志。

2.根据权利要求1所述的方法，其特征在于，

所述确定日志来源，包括：

确定日志存储路径；

确定所述日志存储路径中的至少一个日志文件；

所述从所述日志来源获取待处理日志，包括：

为每个所述日志文件设置一个采集进程；

利用每个所述采集进程采集对应的日志文件中的所述待处理日志；

记录每个所述采集进程采集对应的日志文件时的偏移量；

当与任一目标日志文件的连接发生中断时，实时监测与所述目标日志文件的连接是否重新建立，如果是，则获取所述目标日志文件对应的偏移量，从所述目标日志文件对应的偏移量开始，利用所述目标日志文件对应的采集进程继续从所述目标日志文件采集所述待处理日志。

3.根据权利要求1所述的方法，其特征在于，

进一步包括：

当检测到所述Logstash的解析和过滤处理的过程发生数据拥塞时，降低获取所述待处理日志的速度，在检测到所述Logstash的解析和过滤处理的过程的数据拥塞解除时，恢复获取所述待处理日志的速度。

4.根据权利要求1所述的方法，其特征在于，

进一步包括：

预先设置正则表达式；

在所述利用所述Elasticsearch存储接收到的所述待处理日志之前，进一步包括：

将解析和过滤后的所述待处理日志按照所述正则表达式转换为结构化数据；

将转换为结构化数据的所述待处理日志发送给所述Elasticsearch；

所述利用所述Elasticsearch存储接收到的所述待处理日志，包括：

利用所述Elasticsearch存储转换为结构化数据的所述待处理日志。

5.根据权利要求1-4中任一所述的方法，其特征在于，

进一步包括：

预先与Logstash建立基于安全传输层协议TLS的双向认证连接；

所述将获取的所述待处理日志发送给Logstash，包括：

将获取的所述待处理日志进行加密；

将加密后的所述待处理日志通过所述双向认证连接发送给所述Logstash；

和/或，

进一步包括：

为所述Kibana设置反向代理；

所述利用Kibana向用户展示所述待处理日志，包括：

利用所述Kibana通过所述反向代理向用户展示所述待处理日志。

6.一种日志管理的装置，其特征在于，包括：

日志获取单元，用于确定日志来源，从所述日志来源获取待处理日志，将获取的所述待处理日志发送给Logstash；

解析过滤单元，用于利用Logstash对获取的所述待处理日志进行解析和过滤处理，将解析和过滤处理后的待处理日志发送给Elasticsearch；

日志存储单元，用于利用所述Elasticsearch存储接收到的所述待处理日志；

展示单元，用于利用Kibana向用户展示所述待处理日志。