[发明专利]一种日志实时分析方法及系统

摘要

本发明提出了一种日志实时分析方法及系统，首先对采集的日志数据进行预处理，采用实时整理和大数据分析相结合的方式，使得后续的统计分析不仅能看到宏观方面的问题，也能够从宏观方面关联到微观状态；采用大数据分析单元对日志数据进行优化分析统计，提高了日志分析的速度和效率；使用内存存储和落地存储两个级别的日志存储方式，使得统计信息和详细数据信息可以分别显示，大大降低了日志服务器与客户端之间的通信压力，从而减少了在图形显示时的响应时间。

主权项

1.一种日志的实时分析方法，所述方法包括：从多个设备采集原始日志信息；将采集来的原始日志信息进行日志处理，先进行日志预处理，整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，其中包括日志时间和日志类型信息；然后，将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列；消息队列根据数据分析需求将索引字典数据分发给大数据分析单元；大数据分析单元可以集群部署，根据预先设定的分析统计策略配置，从消息队列实时得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；日志展现接口收到大数据分析单元的统计完成通知后，将统计结果推送到用户界面，用户界面按照展现需求，到日志存储管理子系统取统计结果，在用户界面上展示。