[发明专利]一种基于流数据分析的Web攻击实时在线检测系统

说明书

本发明公开了一种基于流数据分析的Web攻击实时在线检测系统，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；本发明的技术效果在于，采用多缓存队列，实时在线采集信息系统应用日志，能够防止黑客完成攻击后清除日志数据；采用集群框架设计，整个安全日志数据处理流程由志数据缓存集群和流数据检测集群组成，能够实现负载均衡和解决单点故障，提高数据处理的实时性和可靠性；采用基于动态时间窗口的流数据分析方法，能够根据不同的场景，动态调整时间窗口阈值，提高数据融合的准确性。

技术领域

本发明涉及一种基于流数据分析的Web攻击实时在线检测系统。

背景技术

随着Web技术的发展，大量的信息系统部署在网络上对外提供服务。信息系统在为信息发布和交互带来便利的同时，针对系统的Web攻击越来越多，系统安全已成为一个日益重要的问题。根据国家互联网应急中心发布《中国互联网站发展状况及其安全报告(2016)》显示，针对信息系统的SQL注入、网页篡改、网站后门等Web攻击事件层出不穷，党政机关、科研机构、重要行业单位网站是黑客组织攻击的重点目标。对于采用技术手段绕过防火墙的入侵攻击，防火墙无法检测和告警。信息系统的应用服务器有记录用户访问行为的日志数据，包括用户操作行为、访问请求和系统错误异常等。因此要全面掌握系统安全状况，及时定位Web攻击，实时分析信息系统日志数据非常必要。

黑客在获得控制权后会立即窃取篡改数据或实施破坏行为，完成攻击后很有可能清除入侵痕迹。因此，第一时间发现Web攻击行为十分重要，特别是对于规模庞大的信息系统或者数据中心，Web攻击检测方法必须要支持海量的日志数据实时在线检测。当前关于Web攻击的检测方法侧重于研究攻击检测方法的准确性和完备性。专利(CN201510889266.0)“一种Web攻击检测方法和装置”公开了一种Web攻击检测方法。该方法实现了基于URL正常行为模型的Web攻击检测。但是该方法没有考虑Web攻击的实时检测需求，难以满足海量日志数据分析的实时性要求。

发明内容

针对以上问题，本发明提出了一种基于流数据分析的Web攻击实时在线检测系统。包括采用多缓存队列，在线采集和分发应用服务器日志数据；采用集群式处理架构设计，动态调配分析节点负载，保障海量日志数据分析的实时性和可靠性；采用基于动态时间窗口的流数据分析方法，实时检测攻击事件。本发明能够提高应用服务器日志分析处理能力和时效性，提高Web攻击检测的及时性，提高信息系统的安全性。

为了实现上述技术目的，本发明的技术方案是，

一种基于流数据分析的Web攻击实时在线检测系统，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；所述的日志数据采集客户端是将信息系统应用服务器日志封装成Syslog消息格式的客户端软件；所述的日志数据缓存集群由至少两个日志数据缓存模块组成，通过以太网与日志数据采集客户端、流数据检测集群连接；所述的流数据检测集群由至少两个流数据检测模块组成；

所述的日志数据缓存模块包括分发线程、维护线程和至少一个缓冲队列；分发线程接收来自日志数据采集客户端的Syslog消息，并转化为统一格式的消息对象，再将消息对象分发到缓存队列，维护线程用于清理缓冲队列中不符合要求的消息对象；

所述的流数据检测模块包括流数据生产模块、流数据一级处理模块、流数据二级处理模块和流数据三级处理模块；流数据生产模块提取日志数据缓存模块的消息对象，并转化为统一格式的流数据单元；流数据一级处理模块采用wu-manber多模匹配算法检测流数据单元中是否含有攻击特征关键字，将含有特征关键字的流数据单元发送到流数据二级处理模块中；流数据二级处理模块采用流数据分析模型，去除重复的攻击事件，统计攻击次数，并将融合的攻击事件检测结果发送至流数据三级检测模块；流数据三级检测模块将检测结果存入关系数据库中。

所述的一种基于流数据分析的Web攻击实时在线检测系统，所述的分发线程将Syslog消息转化成格式为消息头，消息体，表示为head,body的统一格式的消息对象。