[发明专利]用于网络异常检测的局部敏感性计数摘要方法及系统

说明书

本发明公开了一种用于网络异常检测的局部敏感性计数摘要方法，包括1：获取离线网络流数据集合，对其进行离线训练得到局部敏感性摘要数据结构，2：对每个需要防护的主机赋予一个数据结构；3：从网络流中获取数据报文，提取其目的地址并将其与防护主机列表相匹配，若匹配成功，转4；4：提取数据报文的源地址，将其在线插入到与目的地址相应的数据结构中；5：每隔t秒，统计所插入源地址数目，若其大于阈值，触发一个网络异常告警，转6；6:查询数据结构，所有插入源地址的近似计数并输出。通过在离线训练过程中将大小相似的数据报文映射到同一个计数数组，显著降低桶均值计数方差，在相同存储空间大小内，将近似误差降低100倍以上。

技术领域

本发明属于网络通信领域，尤其涉及一种用于网络异常检测的局部敏感性计数摘要方法及系统。

及系统。

背景技术

网络异常检测能及时检测出网络攻击行为和遭受攻击的受害者，能帮助尽早开展信息安全防护，最小化网络破坏影响。分布拒绝服务攻击(DDOS)对网络和用户产生严重破坏，一个DDOS攻击利用大量的分布主机向指定的主机发起DOS(拒绝服务)攻击，造成受害主机在一定时间段内连接数超过能承受的数目，导致受害主机服务不可用，检测出分布拒绝服务攻击是一项重要的网络异常检测任务。目前，DDOS攻击检测采取在网关或者防火墙利用哈希表聚合统计到指定主机的连接数，存在计算资源耗费高的不足。基于摘要的DDOS攻击检测通过固定大小的数组来近似统计指定主机的连接数目，降低了计算资源耗费，但是存在计数不准确的问题，容易导致漏报和虚报的问题。因此，提高摘要的计数准确率对于提升DDOS检测能力具有重要价值。

基于摘要(sketch)的数据流近似计算方法用于近似统计数据报文的大小，是网络监控应用的一个重要组成部分，在网络异常检测中得到广泛应用。常见的计数式摘要(count sketch)由一组数组构成，每个数组包含相同数目的“桶”(“桶”为逻辑概念，用于指代数组的一个位置)，每个“桶”用于记录插入到该位置的键对应的值。当需要插入一个键值对时，首先通过哈希函数从每个数组中均匀随机选择一个“桶”，然后通过哈希函数选择+1或者-1对值进行加权，最后将值插入到选中的“桶”中。在查询一个键对应的值时，首先利用相同的哈希函数从每个数组计算“桶”的位置，其次读取每个“桶”的值，最终选取所有“桶”值的加权中间值作为该键对应的值返回。计数式摘要具有常数时间的维护和查询开销。

计数式摘要具有查询误差，如果多个键插入到相同的“桶”中，那么这个“桶”记录各个键对应值的加权代数和，并不严格对应一个键的原始值。查询误差严重降低了计数式摘要的查询有效性，应用查询结果可能造成偏差，造成判断错误。

发明内容

本发明要解决的技术问题是提供一种查询误差小从而提高DDOS检测能力的用于网络异常检测的局部敏感性计数摘要方法及系统。

为解决该问题，本发明所采用的技术方案是：设计一种局部敏感性摘要数据结构和一种数据流近似计算方法。数据流近似计算方法分为离线训练阶段、在线插入阶段、查询阶段等三个过程：离线阶段通过K-均值聚类方法和离线数据集训练一个数据流聚类模型；在线插入阶段根据K-均值聚类模型将数据报文动态映射到局部敏感性摘要数据结构；查询阶段利用待查询数据报文的键值选择计数数组中的一个桶，将桶的计数均值作为待查询键的近似值。局部敏感性摘要数据结构将大小相似的数据报文映射到同一个计数数组，实现通过计数均值近似降低查询误差的目的。

一种用于网络异常检测的局部敏感性计数摘要方法，包括以下步骤：

步骤1：获取离线网络流数据集合D，通过所述离线网络流数据集合D对局部敏感性摘要数据结构LSS(X)进行离线训练并初始化；

步骤2：对每个需要防护的主机X∈S赋予一个局部敏感性摘要数据结构LSS(X)，X表示防护主机，S表示防护主机列表；