[发明专利]一种日志实时分析方法及系统

摘要

本发明公开了一种日志实时分析方法及系统，涉及数据处理领域。所述方法：日志解析客户端判断当前工作节点为已注册节点，获取当前工作节点需要分析的日志目录；判断所述日志目录下存在更新的日志文件，启动线程池并发更新日志文件的解析，按照系统标示进行数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。所述系统包括：日志记录模块和日志分析模块。本发明在不影响实时监控功能的前提下，降低日志存储量；从系统方法的执行，到能从界面反映出执行结果的变化，中间的耗时要小于1分钟；监控系统可水平扩展，只要简单的部署就可以完成性能扩展。

主权项

1.一种日志实时分析方法，其特征在于，所述方法包括：/nS1，日志解析客户端判断当前工作节点是否为已注册节点，如果是，则进入S2；如果否，则注册当前工作节点后再进入S2；/nS2，获取当前工作节点需要分析的日志目录；/nS3，判断所述日志目录下是否存在更新的日志文件，如果是，则进入S4，如果否，则重复S3；/nS4，启动线程池并发更新日志文件的解析，按照系统标示进行数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中；/n步骤S1中，所述注册当前工作节点，具体按照下述步骤实现：/n获取所述当前节点所对应的系统，并获取所述系统的配置信息，日志解析客户端根据所述配置信息生成并存储唯一标识，完成注册；所述唯一标识作为当前节点对应的系统在日志解析客户端的唯一序列号；/n步骤S3中，判断所述日志目录下是否存在更新的日志文件，是按照下述步骤实现：/n判断所述日志目录下记载的日志文件存在的时刻与当前时刻的时间差是否在预设时间范围内产生的，如果是，则在预设时间范围内产生的日志文件为更新的日志文件；如果否，则在在预设时间范围内未产生更新日志文件；/n步骤S4中，在解析过程中记录对任意一个文件的解析进度，同时，对解析过程中产生的数据进行数据持久化操作；/n当发生解析突然中断时，在日志解析客户端重新恢复执行状态后会继续之前中断的解析工作；/n在步骤S4中，在解析过程中将同一个系统方法在某一段时间运行的情况的解析合并成一条数据；/n在S1步骤之前包括以下步骤：/n日志解析客户端获取下辖系统的配置数据，并监控下辖系统方法的执行；待执行结束后，激活日志组件，获取日志记录并存储到日志文件存储系统中；/n所述日志文件存储系统为多个监控终端统一使用分布式存储系统或每个监控终端独立使用的存储系统；/n日志解析客户端安装到监控终端上，且每个监控终端只能安装一个日志解析客户端；/n一个日志解析客户端可同时实时监控安装在同一个监控终端上的多个系统。/n