[发明专利]一种基于分布式采集的日志分析系统及方法

摘要

本发明公开了一种基于分布式采集的日志分析系统，该系统包括日志文件收集应用模块、日志接收应用集群模块、分布式日志存储模块和Zookeeper注册中心集群模块。此外，本发明还公开了一种基于分布式采集的日志分析方法。通过本发明提升了日志处理层和日志存储层的水平扩展能力，同时利用线程隔离原理通过对每次请求生成请求标识(TracingID)做到对跨服务调用日志的分组，清晰定位服务调用过程中的数据日志流转以及异常详情。

主权项

一种基于分布式采集的日志分析系统，其特征在于，该系统包括日志文件收集应用模块、日志接收应用集群模块、分布式日志存储模块和Zookeeper注册中心集群模块；日志文件收集应用模块，收集监视当前机器的组件日志文件，组件包括业务系统、web容器、redis服务，监测到日志文件有增量后通过过滤器对日志进行预处理，并从Zookeeper注册中心集群模块获取接收处理器的可用实例发送到接收处理器；日志接收应用集群模块，采用集群负载均衡方式，日志处理器实例以集群形式存在并注册到Zookeeper注册中心集群模块，接收从收集应用模块发动过来的日志数据，按照来源信息进行分类，通过注册中心获取存储实例将数据持久化到存储中，其中来源信息包括服务器标识和应用标识；分布式日志存储模块，采用分布式存储文件系统实现大容量日志数据的快速读取；Zookeeper注册中心集群模块，用来注册或提供接收处理器实例、分布式日志存储实例，通过监控各实例节点状态改变确保注册实例的可用性，同时达到服务实例的负载均衡效果。