[发明专利]用于网络异常检测的局部敏感性计数摘要方法及系统

权利要求书

1.一种用于网络异常检测的局部敏感性计数摘要方法，其特征在于：包括以下步骤：

步骤1：获取离线网络流数据集合D，通过所述离线网络流数据集合D对局部敏感性摘要数据结构LSS(X)进行离线训练并初始化，具体为：

步骤1.1：从网络中获取离线网络流数据集合D，将网络流数据中每个数据报文的键key为该数据报文的唯一标示符，值val为该数据报文的大小；

步骤1.2：对网络流项数据集合D基于数据报文大小进行聚类划分，最优的划分C根据使误差平方和取最小值时的划分，得到的聚类划分为聚类划分后的k个小组C_i与数据结构中的k个计数数组一一对应，|C_i|表示第i个聚类小组中数据报文的数量；

步骤1.3：构建网络流数据集合D的聚类中心集合将聚类中心集合μ作为数据流聚类模型，μ_i表示聚类划分后每个聚类小组的聚类中心；

步骤2：对每个需要防护的主机X∈S赋予一个局部敏感性摘要数据结构LSS(X)，X表示防护主机，S表示防护主机列表；

步骤3：以被动监听方式接收网络流，从网络流中获取数据报文p，提取数据报文的目的地址p.dst，将目的地址p.dst与步骤1中的防护主机列表相匹配，若匹配成功，则转步骤4，否则直接丢弃该数据报文，重新接收新的数据报文；

步骤4：提取数据报文p的源地址p.src，将p.src作为键key，选择1作为值val，将该数据报文的源地址p.src在线插入到与目的地址p.dst相对应的防护主机的局部敏感性数据结构LSS(p.dst)中；

步骤4中的在线插入方法为：

步骤4.1：使用缓存哈希表HTable追踪数据报文的动态数值，缓存哈希表HTable缓存数据报文的历史大小historySize和“年龄”age，数据报文的历史大小historySize对应已插入的同一个标示符的数据报文大小的总和，数据报文的“年龄”age对应数据报文首次插入的时间；

步骤4.2：计算数据报文的历史聚类索引和当前聚类索引；

步骤4.2.1：若当前数据数据报文位于缓存哈希表HTable中，则根据当前数据报文的缓存历史大小x_h，计算当前数据报文的历史聚类索引j_h，跳至步骤4.2.3；

步骤4.2.2：若当前数据报文报文不在缓存哈希表HTable中，则设定x_h＝0，直接跳至步骤4.2.3；

步骤4.2.3：将当前数据报文的历史大小x_h与当前大小x_c之和x_h+x_c，作为当前数据报文的大小更新值，计算当前数据报文的当前聚类索引j_h+c；

步骤4.3：根据所得到的当前聚类索引j_h+c将数据报文插入到数据结构LSS中；

步骤4.4：更新缓存哈希表HTable，将缓存哈希表HTable中当前数据报文历史大小historySize更新为x_h+x_c；

步骤4.5：将当前数据报文的标示符key和计数数组的索引j_h+c保存到位置映射哈希表FTable；

步骤5：每隔t秒，计算每个局部敏感性摘要数据结构LSS(p.dst)的所有数组中每个桶的计数器Count域的代数和，作为插入源地址数目，若所插入的源地址数目大于预设的DDOS检测阈值T，则触发一个网络异常告警DDOS事件，进入步骤6，否则，将局部敏感性摘要数据结构LSS(p.dst)保存到文件系统，然后返回步骤2，进入新的DDOS检测周期；

步骤6:以每个插入源地址为键key查询局部敏感性摘要数据结构LSS(p.dst)，得到所有插入源地址的近似计数大小并输出，然后返回步骤2，进入新的DDOS检测周期。

2.根据权利要求1所述的用于网络异常检测的局部敏感性计数摘要方法，其特征在于：步骤2中所述局部敏感性摘要数据结构包括k个计数数组第i个计数数组I_i包含m_i个“桶”，每个“桶”由值域Sum，计数器Count构成，值域Sum记录插入到该“桶”的数据流大小的总和，计数器Count记录插入到该“桶”的数据流项的数目。