[发明专利]一种适用于海量数据的高速网络流量异常检测系统

权利要求书

1.一种适用于海量数据的高速网络流量异常检测系统，其特征在于，包括数据包特征提取子系统、网络流量压缩存储子系统和网络流量异常检测子系统，其中：

数据包特征提取子系统，捕获高速网络流量，根据网络流量异常检测粒度，初步提取数据包五元组中全部或局部信息，作为网络用户的唯一标识；

网络流量压缩存储子系统，根据高速网络流量中每个网络用户频度的差异，频度小于设定值的网络用户为低频网络用户，高于设定值的网络用户为高频网络用户，利用LogLog数据结构对低频网络用户进行过滤存储，并结合不同的网络流量异常检测任务，采用不同的数据结构存储高频网络用户；

所述网络流量异常检测任务包括用户频度估计、网络重击流检测和网络巨变流检测，所述网络流量异常检测子系统包括用户频度分析子系统、网络重击流检测子系统和网络巨变流检测子系统；

所述用户频度分析子系统，在利用LogLog数据结构过滤低频网络用户之后，高频网络用户存储在CM-CU数据结构中，结合两种数据结构得到高速网络流量中每个网络用户的频度；

所述网络重击流检测子系统，在利用LogLog数据结构过滤低频网络用户之后，利用Unbiased Space Saving数据结构对高频网络用户进行进一步筛选，得到Top-k网络重击流；

所述网络巨变流子系统，在利用LogLog数据结构过滤低频网络用户之后，利用FlowRadar数据结构逆向恢复得到大于给定阈值的网络巨变流；

其中，所述网络流量压缩存储子系统对每个网络用户的压缩存储过程如下：

对于每个时刻到达的网络用户e，首先计算该网络用户对应的r个哈希值h₁(e),...,h_r(e)，并以该r个哈希值作为索引在LogLog数据结构中查询得到对应的数值F[h₁(e)],...,F[h_r(e)]，基于查询得到的数值计算最小值将该最小值与LogLog数据结构的阈值δ进行比较，判断是否要将该网络用户压缩存储到LogLog数据结构中；

若γ＜δ，则代表该网络用户的频度尚未达到LogLog数据结构的过滤标准，该网络用户暂时为低频网络用户，将该网络用户压缩到LogLog数据结构中，更新过程为：对于每个网络用户产生r个随机数，每个随机数服从参数为的几何分布，并随机映射到一维数组中的r个位置中，将产生的r个随机数与LogLog数据结构对应位置的数值进行比较，每次比较保留该位置的最大值，更新过程如下：

F[h_i(e)]←max{min{ρ(x_i),δ},F[h_i(e)]},1≤i≤r

ρ(x_i)表示产生的第i个随机数；

若γ≥δ，则代表该网络用户的频度已达到LogLog数据结构的过滤标准，该网络用户已成为高频网络用户，不再将该网络用户压缩到LogLog数据结构中。

2.根据权利要求1所述适用于海量数据的高速网络流量异常检测系统，其特征在于，所述数据包特征提取子系统对网络流量中每一时刻到达的网络数据包进行处理，以五元组全部信息的组合或五元组中局部信息的组合作为网络用户的唯一标识，所述五元组信息为源端口、目标端口、源IP地址、目标IP地址和网络协议。

3.根据权利要求1所述适用于海量数据的高速网络流量异常检测系统，其特征在于，所述LogLog数据结构为长度m的一维数组F，数组中的每个位置记录映射到该位置的所有网络用户的最大哈希值。

4.根据权利要求1或3所述适用于海量数据的高速网络流量异常检测系统，其特征在于，所述LogLog数据结构的每个位置利用相同数量的比特位设定阈值，用于过滤分割网络流量中频度不同的网络用户，高频网络用户可通过该数据结构的筛选，而低频网络用户会被该数据结构过滤掉并存储在该数据结构中。

5.根据权利要求1所述适用于海量数据的高速网络流量异常检测系统，其特征在于，所述用户频度分析子系统利用LogLog数据结构中的信息估计低频网络用户的频度，并利用LogLog数据结构中的信息以及CM-CU数据结构中的用户频度综合估计高频网络用户的频度。