[发明专利]一种基于流数据分析的Web攻击实时在线检测系统

权利要求书

1.一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；所述的日志数据采集客户端是将信息系统应用服务器日志封装成Syslog消息格式的客户端软件；所述的日志数据缓存集群由至少两个日志数据缓存模块组成，通过以太网与日志数据采集客户端、流数据检测集群连接；所述的流数据检测集群由至少两个流数据检测模块组成；

所述的日志数据缓存模块包括分发线程、维护线程和至少一个缓冲队列；分发线程接收来自日志数据采集客户端的Syslog消息，并转化为统一格式的消息对象，再将消息对象分发到缓存队列，维护线程用于清理缓冲队列中不符合要求的消息对象；

所述的流数据检测模块包括流数据生产模块、流数据一级处理模块、流数据二级处理模块和流数据三级处理模块；流数据生产模块提取日志数据缓存模块的消息对象，并转化为统一格式的流数据单元；流数据一级处理模块采用wu-manber多模匹配算法检测流数据单元中是否含有攻击特征关键字，将含有特征关键字的流数据单元发送到流数据二级处理模块中；流数据二级处理模块采用流数据分析模型，去除重复的攻击事件，统计攻击次数，并将融合的攻击事件检测结果发送至流数据三级检测模块；流数据三级检测模块将检测结果存入关系数据库中；

所述的流数据生产模块包括至少一个处理单元、流数据维护线程和流数据缓冲队列；所述的处理单元用于提取日志数据缓存模块中的消息对象，并转换成流数据单元；流数据缓冲队列的一个元素为一个流数据单元，队列长度根流数据单元的规模进行配置；流数据维护线程用于从流数据缓冲队列中删除日志时间距离当前时间超过流数据维护线程时间阈值T₃的消息对象，其中流数据维护线程时间阈值T₃是在系统启动初始化时进行设置的。

2.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的分发线程将Syslog消息转化成格式为消息头，消息体，表示为head,body的统一格式的消息对象。

3.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的分发线程根据消息对象根据分配函数，将消息对象分发到第i个缓存队列，分配函数公式如下：

i＝|H(head)|％n

其中H(head)为消息对象头字符串的哈希值，n为缓冲队列的个数。

4.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，维护线程清理缓冲队列中不符合要求的消息对象，是从缓冲队列中删除距离当前时间超过维护线程时间阈值T₁的消息对象，其中维护线程时间阈值T₁是在系统启动初始化时进行设置的。

5.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的处理单元由至少一个流数据提取线程和主管线程组成，流数据提取线程用于一一对应的提取日志数据缓存模块的缓冲队列中的信息对象，即流数据提取线程i仅用于提取缓冲队列i中的消息对象，所述的主管线程负责创建和维护流数据提取线程。

6.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的流数据二级处理模块包括流数据分析模型、过程对象维护线程和过程对象队列；所述的流数据分析模型用于统计和融合检测结果；过程对象队列中以一个过程对象为一个元素，队列长度根据对象的规模进行配置，过程对象维护线程用于从过程对象队列中删除距离当前时间超过过程对象维护线程时间阈值T₂的过程对象，其中过程对象维护线程时间阈值T₂是在系统启动初始化时进行设置的。

7.根据权利要求6所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的流数据分析模型采用如下步骤建立：

步骤1，计算其中一个流数据单元中server_port、server_ip、client_ip三个属性组合字符串的hash值，并在过程对象队列中查找是否存在具有相同的hash值的过程对象，如果找到相同过程对象v，转到步骤2；如果没有找到，则转到步骤3；

步骤2，更新所有过程对象中的时间窗口属性值，方法如下：

Δt＝asctime-c_time

t_i＝t_avg+σ(t)

其中c_time为标识时间，用于标识过程对象v的最后更新时间；t_i为过程对象v的时间窗口属性；c_time和t_i均是系统启动初始化时设置；Δt是时间差，t_avg是时间窗口平均值，[t₁,t₂...t_r]为过程对象队列中所有过程对象的t_i属性的集合，r是过程对象队列的长度，σ(t)是事件窗口的均方误差，asctime为访问时间；

计算流数据单元u的asctime属性值与过程对象v的c_time属性值之间的差值，并根据差值更新过程对象v的count属性值，方法如下：

更新过程对象v的c_time为asctime，如果count大于统计阈值C，则转到步骤4，否则转向步骤1，其中count为计数器；

步骤3，由过程对象维护线程创建一个新的过程对象，设置count属性值为1，标识c_time时间设置为asctime，转到步骤1；

步骤4，将过程对象v发送至流数据三级检测模块，转到步骤1。