[发明专利]一种日志实时分析方法及系统

说明书

本发明提出了一种日志实时分析方法及系统，首先对采集的日志数据进行预处理，采用实时整理和大数据分析相结合的方式，使得后续的统计分析不仅能看到宏观方面的问题，也能够从宏观方面关联到微观状态；采用大数据分析单元对日志数据进行优化分析统计，提高了日志分析的速度和效率；使用内存存储和落地存储两个级别的日志存储方式，使得统计信息和详细数据信息可以分别显示，大大降低了日志服务器与客户端之间的通信压力，从而减少了在图形显示时的响应时间。

技术领域

本发明涉及日志分析领域，尤其涉及一种日志实时分析方法及系统。

背景技术

随着信息化技术的迅猛发展，网络攻击、病毒、僵尸、木马、恶意软件等技术的水平不断提高，给网络用户带来前所未有的威胁。网络攻击也从原来单纯的个别黑客秀技术，转化成以获取经济利益为目的的产业。而从应用维度，越来越多的恶意应用使用已知端口如Web应用的80端口，网络安全设备往往会对这个端口做放行，由此恶意应用可以绕过网络安全设备对网络进行攻击。

作为网络安全的重要一环，网络安全设备日志分析可以通过收集和归档网络安全设备日志，并生成报表，进行全网综合安全分析，帮助安全管理人员快速识别病毒攻击、异常流量以及用户非法行为等重要的安全信息，从而运用合理的安全策略，保证网络的安全。但是，现有的网络安全设备日志分析尚存在以下问题：

1，海量日志处理中纯文本日志的识别率低的问题。

网络管理员面对网络安全设备日志的分析，依然依靠逐行核对的方式进行人工审查。这种方法已经使用多年，但却是管理员找到问题风险的最佳途径。然而这个途径的效率非常低，网络安全设备日志的可读性并不友好，人工审查的时候经常会漏掉一些关键因素，被漏掉的关键因素需要反复核对才能被发现，因而降低了识别的效率。

2，传统网络安全设备报告只做简单统计。

日志分析的过程中，传统网络安全设备生成的报告只做了简单统计。所生成的统计报表只作为报告使用，并不能把问题关联到发生日志的具体时刻。而在网络安全设备安全分析的过程中，我们不但希望从报表上看到宏观方面的问题，更希望能够从宏观方面关联到微观状态，这需要统计报表不单单只是作为统计和展示，同时要对统计和展示的图形进行操作。

3，图形化操作的查询实时性问题。

日志查询和展示的时候需要大量的运算，如分类统计、求和、求平均值等操作。在传统的日志分析系统中，这些计算和查询都是在客户端展示之前进行计算的，这就导致了服务器与客户端传输的数据非常多，不得不用分页等方式来展示，但分页会影响整体数据的统计。

4，在同类的日志分析和统计系统中，日志采用了关系型的方式存储在数据库中，这导致在检索同类数据的时候，如果数据量非常大，系统反应会非常的慢。同时在图形展现时，大量的数据会占用客户机以及大量的通信带宽，导致展示的响应时间过长。

发明内容

本发明的目的是通过以下技术方案实现的。

根据本发明的实施方式，提出一种日志的实时分析方法，所述方法包括：

从多个设备采集原始日志信息；

将采集来的原始日志信息进行日志处理，先进行日志预处理，整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，其中包括日志时间和日志类型信息；然后，将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列；消息队列根据数据分析需求将索引字典数据分发给大数据分析单元；

大数据分析单元可以集群部署，根据预先设定的分析统计策略配置，从消息队列实时得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；