[发明专利]一种日志实时分析方法及系统

权利要求书

1.一种日志的实时分析方法，所述方法包括：

从多个设备采集原始日志信息；

将采集来的原始日志信息进行日志处理，先进行日志预处理，整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，所述内容字典由多类型数据集合构成，所述索引字典包括内容字典中各个内容的定位偏移；然后，将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列；消息队列根据数据分析需求将索引字典数据分发给大数据分析单元；

大数据分析单元可以集群部署，根据预先设定的分析统计策略配置，从消息队列实时得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；

日志展现接口收到大数据分析单元的统计完成通知后，将统计结果推送到用户界面，用户界面按照展现需求，到日志存储管理子系统取统计结果，在用户界面上展示；

其中，所述日志预处理包括两级拆分过程：第一级拆分和第二级拆分；所述第一级拆分为日志信息头部部分的解析拆分，用于拆分出数据的基本信息；所述第二级拆分为日志内容部分的解析拆分，将信息格式抽象化，进行字段名和字段值的定位，然后将字段名和字段值分开，保存为Key-Vlaue格式；

所述的日志存储管理子系统采用内存存储和落地存储两个级别的日志存储方式，包括统计结果库、内存详细信息库，对应为内存存储方式，还包括内存镜像存储区、冷数据存储区，对应为落地存储方式；所述内存详细信息库用于保存进行日志预处理后生成的内容字典，以及大数据分析单元的统计结果数据；所述统计结果库是以时间为key进行数据存储，用于保存大数据分析单元的统计结果数据的索引；

通过热点监控机制实现分级存储区之间的数据切换，包括：根据数据使用的频率进行引用计数，数据初始被存于冷数据存储区，当冷数据使用频率的计数值高到一定数值时转变为热数据,存到内存镜像存储区；热数据存到一定的时间期限又被存回冷数据存储区。

2.如权利要求1所述的方法，所述索引字典还包括将每条索引增加GUID为键的唯一标识，将带有标识的索引加入消息队列。

3.如权利要求1所述的方法，所述的日志存储管理子系统通过持久化机制保持内存存储数据的完整性。

4.如权利要求3所述的方法，所述的持久化机制是实时对统计结果库、内存详细信息库进行写磁盘操作，保存于内存镜像存储区。

5.如权利要求1所述的方法，所述的日志展现接口收到用户的查询请求后，通过用户网页视图的事件回调机制实现实时展示数据，网页视图通过浏览器提供的http连接和Web服务端之间的交互获取最新数据，Web服务端按网页视图的展示需求调用日志展现接口单元来提取更新数据。

6.如权利要求5所述的方法，所述的日志展现接口收到用户的查询请求后，通过图形化维度和模式化操作维度实现日志展现，所述图形化维度是通过各种可视的统计视图对日志进行展示，其包括面板层面、视图层面和图形层面；所述模式化操作维度是在用户图形化基础上制定的操作模式，包括面板层面操作、视图层面操作和图形层面操作。