[发明专利]机器学习和规则匹配融合的安全检测系统

权利要求书

1.一种机器学习和规则匹配融合的安全检测系统，其特征在于，包括：离线部分与在线部分；其中：

离线部分，利用带有标签的合法流量和恶意流量建立机器学习模型，并进行模型训练；

在线部分，通过采集网络流量并进行预处理，然后，进行两部分处理：第一部分为，采用传统规则匹配的方式从预处理结果中检测恶意流量；第二部分为，对预处理结果进行特征提取，再利用离线部分训练得到的机器学习模型识别出恶意流量；最后，融合两部分处理的结果，实现恶意流量的拦截；

在线部分中的数据预处理模块，进行的预处理至少包括：数据包重组、协议解码与异常检测；其中：数据包重组分为流重组和分片重组；协议解码是将数据包的协议解码成一个统一的格式；异常检测至少包括端口扫描；当数据包通过了异常检测时，数据预处理模块输出是经过数据包重组与协议解码的数据；否则，产生报警；

在线部分中的特征提取与流量分类模块，首先进行特征提取，提取的特征包括：源端口、源地址、目的端口、目的地址、ICMP类型、协议标识符、原始数据长度和原始数据；然后，利用离线部分训练得到的机器学习模型分类为合法流量或恶意流量；特征提取阶段，在GPU中实现一个哈希表，用来维护和追踪对应于每一条活跃数据流的特征数据的索引；每个数据单元特有的哈希值用来确定一条特定的数据流；每一个互斥的哈希条目上使用了原子锁，使得每一个时刻只有一个线程被允许更新其哈希条目；当一个特征数据传输结束时，其对应的数据流会变成非活跃的，这将会触发从哈希表中删除相应数据流对应的特征数据的操作；对每条数据流而言，最后到达的数据包的时间被记录在了哈希表中，采用一种基于阈值的方法来确定一条非活跃的数据流；具体来说，如果时间间隔超过了阈值，此时就认为相应数据流的特征数据是非活跃的，通过设置一个定时任务来输出非活跃数据流的特征数据，并利用离线部分训练得到的机器学习模型进行分类。

2.根据权利要求1所述的一种机器学习和规则匹配融合的安全检测系统，其特征在于，离线部分中，将带有标签的合法流量和恶意流量作为训练集，从中提取基于时间的特征、基于网络层的特征和基于TTL的特征，然后采用机器学习方法进行模型构建，并进行模型训练；

训练之后，使用验证数据集对训练好的机器学习模型进行验证。

3.根据权利要求1所述的一种机器学习和规则匹配融合的安全检测系统，其特征在于，所述在线部分包括：

网络流量采集模块，用于采集网络流量；

流量采样模块，用于按照指定采样规则，从采集的网络流量中提取相应数据；

数据预处理模块，用于对采样到的数据进行预处理；

传统规则匹配模块，用于采用传统规则匹配的方式从预处理结果中检测恶意流量；

特征提取与流量分类模块，用于对预处理结果进行特征提取，再利用离线部分训练得到的机器学习模型进行分类，从而识别出恶意流量；

结果融合与展示模块，用于融合传统规则匹配模块、以及特征提取与流量分类模块的结果，以拦截相应的恶意流量，并通过可视化技术展示。

4.根据权利要求1或3所述的一种机器学习和规则匹配融合的安全检测系统，其特征在于，在线部分中的网络流量采集模块运行在GPU上，基于零拷贝技术，利用直接内存存取结构，将数据流中的数据包从网卡的缓存队列直接复制到用户空间。

5.根据权利要求1或3所述的一种机器学习和规则匹配融合的安全检测系统，其特征在于，在线部分中的流量采样模块采用了灵活采样算法；

所述灵活采样算法是一种依赖于大小的数据流记录选择算法；给定一个数据流大小的集合S＝{X₁,…,X_n}，灵活采样算法将以概率P(x_i)从每一X_i中选择一个大小为x_i的数据流x_i′来形成一个新的数据流集合S′＝{x₁′,…,x_n′}；灵活采样算法的目标是通过采样计算出来的总字节数趋近真实流量的总字节数其中，i＝1,…,n。