[发明专利]一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法

权利要求书

1.一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法，其特征在于，该方法包括以下步骤：

步骤(1)获取一段在主干网节点持续采集一段时间的高速网络流量数据，其中含有部分端口扫描流量；

步骤(2)设置抽样比为1/μ，对获取的公开数据集进行系统抽样；

步骤(3)使用扫描检测sketch对抽样后的TCP和UDP流量进行特征提取；

步骤(4)采用K-means算法对流量特征进行聚类，并基于规则对已知扫描流所在簇中的流量进行验证并标注，进而得到具有完整标签的训练集；

步骤(5)使用有监督机器学习算法对步骤(4)得到的训练集进行模型训练，得到分类模型；

步骤(6)使用另外两段公开数据集数据作为测试集，分别对模型检测快速端口扫描和慢速端口扫描的性能进行测试。

2.根据权利要求1所述的一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法，其特征在于，所述步骤(1)中，获取公开数据集流量的方法如下：

(1.1)访问公开数据集官网，获取在主干网节点上持续采集一段时间的高速网络流量；

(1.2)公开数据集官方文档中仅提供了部分端口扫描流量的信息，步骤(4)中采用聚类算法找出公开数据集中所有的端口扫描流量并标注，以将其作为用于模型训练的数据。

3.根据权利要求1所述的一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法，其特征在于，所述步骤(2)中，系统抽样具体过程如下：设置抽样比为1/μ，随机选取一个起点抽取数据包，后续每隔μ个包抽取一个数据包，得到抽样后的流量。

4.根据权利要求1所述的一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法，其特征在于，所述步骤(3)中，所使用的扫描检测sketch详细信息以及提取特征的具体步骤如下：

(3.1)基于TCP端口扫描的特点，所选择的TCP流量特征为：IP地址发送和接收的数据包数目之比、IP地址发送和接收的带有SYN标志的数据包数目之比、TCP数据包的目的IP分散度以及TCP数据包的目的端口分散度；基于UDP端口扫描的特点，所选择的UDP流量特征为：IP地址发送和接收的数据包数目之比、UDP数据包的目的IP分散度以及UDP数据包的目的端口分散度；

(3.2)根据所选择的特征，设计了扫描检测sketch用于特征提取，扫描检测sketch是在Count-Min sketch的基础上改进而来的，它由d行w列的二维数组桶组成，每个桶包含4个计数器和2个哈希表，用于存储一个数据包的多个特征，其中哈希表实际上是一个16位的比特数组，比特值是0或1，初始值全为0，扫描检测sketch支持两种基本操作：更新操作和提取操作，其中更新操作包括两个子操作，即更新计数器操作和更新哈希表操作，更新计数器操作即将被映射的桶中的计数器执行加1操作，更新哈希表操作的具体步骤如下：将当前数据包的端口号或目的IP地址提取出来作为key，再将key用哈希函数映射到相应的哈希表中，被映射到的比特位从原始的0置为1，如果被映射的比特已经被置为1，则保持不变；因此哈希表中1的分布情况体现了key的分散度；提取操作是指，当一个IP地址接收和发送的数据包数目总和达到阈值θ时，当前key所映射的d个桶中，计数器达到该阈值的桶中的所有值被提取出来作为一笔特征向量记录，并将该数据包所映射的所有桶中的值减去最小计数桶值；

(3.3)当一个数据包到达，它的(IP，协议)对会被提取出来作为key，提取的key被用作一个哈希函数的输入，每个数据包的(源IP，协议)和(目的IP，协议)会被分别提取出来映射一次，扫描检测sketch同时处理TCP和UDP数据包；

(3.4)哈希函数输出的128位值被划分成d个部分，每个部分代表sketch二维数组中每行的一个地址，该地址位置上的桶会更新相应的计数器和哈希表；

(3.5)当一个IP接收和发送的数据包总和达到阈值θ，执行提取操作，提取出的特征向量记录是机器学习模型训练的基础。