[发明专利]一种基于分布式存储的日志分析方法及装置

说明书

技术领域

本发明涉及日志分析技术领域，更具体地说，涉及一种基于分布式存储的日志分析方法及装置。

背景技术

日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过对日志的分析检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。目前，通过传统方式对日志数据进行存储分析，速率较慢，且不能存储海量日志数据。

因此，如何实现对日志数据的海量存储，以对日志进行分析是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种基于分布式存储的日志分析方法及装置，以实现对日志数据的海量存储及分析。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于分布式存储的日志分析方法，包括：

日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；

所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。

其中，日志展现模块通过日志接口对日志数据进行分析及展示，包括：

所述日志展现模块接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；

所述日志展现模块利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。

其中，日志展现模块通过日志接口对日志数据进行分析及展示，包括：

所述日志展现模块接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；

所述日志展现模块利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。

其中，本方案还包括：

所述日志后台服务根据预设的删除策略，对存储的日志数据执行删除操作。

其中，本方案还包括：

所述日志后台服务根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。

一种基于分布式存储的日志分析装置，包括：

日志代理，用于实时收集日志数据，并将所述日志数据发送至日志后台服务；

所述日志后台服务，用于接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储；

日志展现模块，用于通过日志接口对存储在所述日志后台服务的日志数据进行分析及展示。

其中，所述日志后台服务包括：

第一接收模块，用于接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；

第一获取模块，用于利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。

其中，所述日志后台服务包括：

第二接收模块，用于接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；

第二获取模块，用于利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。

其中，所述日志后台服务还包括：

删除模块，用于根据预设的删除策略，对存储的日志数据执行删除操作。

其中，所述日志后台服务还包括：

报警分析模块，用于根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。

通过以上方案可知，本发明实施例提供的一种基于分布式存储的日志分析方法，包括：日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。

可见，在本实施例中，日志数据的存储采用分布式存储方式，在分布式环境下日志数据采用分片和副本策略，实现了高性能、高伸缩和高可用。并且，分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用；本发明还公开了一种基于分布式存储的日志分析装置，同样能实现上述技术效果。

附图说明