[发明专利]一种适用于海量数据的高速网络流量异常检测系统

说明书

一种适用于海量数据的高速网络流量异常检测系统，包括数据包特征提取子系统、网络流量压缩存储子系统、用户频度分析子系统、网络重击流检测子系统和网络巨变流检测子系统：首先对高速网络流量进行捕获，根据检测粒度，初步提取数据包五元组信息，作为网络用户唯一标识；基于所提取的数据包特征，利用LogLog数据结构对高速网络流量中频度较小的低频网络用户进行过滤存储，并结合不同的网络流量异常检测任务，采用不同的数据结构存储频度较大的高频网络用户；结合存储网络流量中低频和高频网络用户的不同数据结构，分别对网络流量中的异常行为进行检测，输出每个网络用户的频度，并检测得到网络流量中的Top‑k网络重击流和网络巨变流。

技术领域

本发明属于数据挖掘以及网络通信技术领域，特别涉及一种适用于海量数据的高速网络流量异常检测系统。

背景技术

随着网络通信技术(如5G技术)的快速发展以及个人电脑、智能移动设备的逐渐普及，网络流量数据规模呈现不断增长的趋势。对网络流量的监控是高速网络流量异常检测任务中的必需环节，对于维护网络环境安全以及网络设备的稳定运行具有重要意义。在高速网络流量异常检测任务中，对网络重击流及网络巨变流的监控是目前最为典型的监控任务，可用于DDoS攻击、垃圾邮件、恶意端口扫描等网络攻击行为的有效检测及防护，得到了国内外研究人员的广泛关注。对网络重击流及网络巨变流的监控，其根本在于对网络用户频度的计算。根据网络用户频度的大小，可直接分析捕获以上两类网络异常行为。然而，随着网络流量数据规模的不断扩大以及网络流量高速、流式的数据特性，对高速网络流量进行全量存储、对网络用户频度进行准确计算将消耗大量的计算和存储资源。

目前对高速网络流量的异常检测，可利用Sketch数据结构压缩高速网络流量中的所有网络用户。例如，Count-Min数据结构以及它的变体CM-CU数据结构首先构建了一个大小为l×d的二维数组(数组包含l行，d列)，然后利用l个相互独立的哈希函数将高速网络流量中每个时刻到达的网络用户随机映射到每行的任意一个位置并对该位置的数值执行+1操作；当查询高速网络流量中某个网络用户的频度时，可利用相同的l个哈希函数找到该网络用户对应的位置并将这些位置数值的最小值作为频度。但是，这些Sketch数据结构需要大量的存储资源来压缩高速网络流量中每个网络用户。同时，将高速网络流量中频度较大的高频网络用户和频度较小的低频网络用户压缩到同一个Sketch数据结构，会产生较大的误差，即将低频网络用户误认为高频网络用户。为解决这一问题，现有方法如Space Saving及Unbiased Space Saving数据结构选择仅仅存储高速网络流量中频度较大的高频网络用户，这些数据结构利用了一个双向链表结构Stream Summary来不断存储更新高速网络流量中的高频网络用户。然而，相较于Count-Min数据结构及CM-CU数据结构，Space Saving及Unbiased Space Saving方法在更新网络用户频度时需要消耗大量的计算时间。近些年来，国内外研究者研发了ASketch和Cold Filter框架，这些框架利用了一种Filter数据结构对网络流量中的高频网络用户和低频网络用户进行了过滤分割，并分别采用不同的数据结构来分别存储不同类别网络用户的频度。虽然这些框架已成为目前高速网络流量异常检测方法的主流框架，但在处理包含海量数据的高速网络流量时仍需消耗大量的存储资源。具体而言，当设定阈值为1000频度来过滤分割高速网络流量中的高频网络用户和低频网络用户时，以上框架所使用的数据结构在每个位置仍需至少消耗个比特位空间。高速网络流量中的每个网络用户频度会随着数据规模的不断扩大而增长，因此，当高速网络流量不断到达网络监控设备时，以上方法将消耗更多的存储和计算资源。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种适用于海量数据的高速网络流量异常检测系统，一方面，考虑到包含海量数据的高速网络流量场景，使用了更为精简的数据结构来对高速网络流量进行存储；另一方面，考虑到网络流量高速、流式的数据特性，设计了网络用户频度的快速更新算法以及网络重击流和网络巨变流的快速检测算法，满足了高速网络流量监控任务的需求。

为了实现上述目的，本发明采用的技术方案是：