[发明专利]一种基于流数据分析的Web攻击实时在线检测系统

摘要

本发明公开了一种基于流数据分析的Web攻击实时在线检测系统，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；本发明的技术效果在于，采用多缓存队列，实时在线采集信息系统应用日志，能够防止黑客完成攻击后清除日志数据；采用集群框架设计，整个安全日志数据处理流程由志数据缓存集群和流数据检测集群组成，能够实现负载均衡和解决单点故障，提高数据处理的实时性和可靠性；采用基于动态时间窗口的流数据分析方法，能够根据不同的场景，动态调整时间窗口阈值，提高数据融合的准确性。

主权项

一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；所述的日志数据采集客户端是将信息系统应用服务器日志封装成Syslog消息格式的客户端软件；所述的日志数据缓存集群由至少两个日志数据缓存模块组成，通过以太网与日志数据采集客户端、流数据检测集群连接；所述的流数据检测集群由至少两个流数据检测模块组成；所述的日志数据缓存模块包括分发线程、维护线程和至少一个缓冲队列；分发线程接收来自日志数据采集客户端的Syslog消息，并转化为统一格式的消息对象，再将消息对象分发到缓存队列，维护线程用于清理缓冲队列中不符合要求的消息对象；所述的流数据检测模块包括流数据生产模块、流数据一级处理模块、流数据二级处理模块和流数据三级处理模块；流数据生产模块提取日志数据缓存模块的消息对象，并转化为统一格式的流数据单元；流数据一级处理模块采用wu‑manber多模匹配算法检测流数据单元中是否含有攻击特征关键字，将含有特征关键字的流数据单元发送到流数据二级处理模块中；流数据二级处理模块采用流数据分析模型，去除重复的攻击事件，统计攻击次数，并将融合的攻击事件检测结果发送至流数据三级检测模块；流数据三级检测模块将检测结果存入关系数据库中。