[发明专利]用于网络异常检测的局部敏感性计数摘要方法及系统

摘要

本发明公开了一种用于网络异常检测的局部敏感性计数摘要方法，包括1：获取离线网络流数据集合，对其进行离线训练得到局部敏感性摘要数据结构，2：对每个需要防护的主机赋予一个数据结构；3：从网络流中获取数据报文，提取其目的地址并将其与防护主机列表相匹配，若匹配成功，转4；4：提取数据报文的源地址，将其在线插入到与目的地址相应的数据结构中；5：每隔t秒，统计所插入源地址数目，若其大于阈值，触发一个网络异常告警，转6；6:查询数据结构，所有插入源地址的近似计数并输出。通过在离线训练过程中将大小相似的数据报文映射到同一个计数数组，显著降低桶均值计数方差，在相同存储空间大小内，将近似误差降低100倍以上。

主权项

1.一种用于网络异常检测的局部敏感性计数摘要方法，其特征在于：包括以下步骤：步骤1：获取离线网络流数据集合D，通过所述离线网络流数据集合D对局部敏感性摘要数据结构LSS(X)进行离线训练并初始化；步骤2：对每个需要防护的主机X∈S赋予一个局部敏感性摘要数据结构LSS(X)，X表示防护主机，S表示防护主机列表；步骤3：以被动监听方式接收网络流，从网络流中获取数据报文p，提取数据报文的目的地址p.dst，将目的地址p.dst与步骤1中的防护主机列表相匹配，若匹配成功，则转步骤4，否则直接丢弃该数据报文，重新接收新的数据报文；步骤4：提取数据报文p的源地址p.src，将p.src作为键key，选择1作为值val，将该数据报文的源地址p.src在线插入到与目的地址p.dst相对应的防护主机的局部敏感性数据结构LSS(p.dst)中；步骤5：每隔t秒，计算每个局部敏感性摘要数据结构LSS(p.dst)的所有数组中每个桶的计数器Count域的代数和，作为插入源地址数目，若所插入的源地址数目大于预设的DDOS检测阈值T，则触发一个网络异常告警DDOS事件，进入步骤6，否则，将局部敏感性摘要数据结构LSS(p.dst)保存到文件系统，然后返回步骤2，进入新的DDOS检测周期。步骤6:以每个插入源地址为键key查询局部敏感性摘要数据结构LSS(p.dst)，得到所有插入源地址的近似计数大小并输出，然后返回步骤2，进入新的DDOS检测周期。