[发明专利]一种基于机器学习的入侵检测系统规则匹配优化方法

说明书

本发明提供了一种基于机器学习的入侵检测系统规则匹配优化方法，利用机器学习周期构建模块持续学习入侵检测系统历史告警，周期性构建机器学习数据训练集。机器学习预测模块在网络报文进入检测引擎阶段二后，对拣选好的预匹配规则序列进行实时预测，输出预匹配规则库序列的命中概率。并根据命中概率对预匹配规则进行逆排序，使得入侵检测系统优先遍历命中概率最高的预匹配规则。该方法可以有效降低入侵检测系统无效匹配次数，提升入侵检测系统性能，动态调整入侵检测系统预匹配规则序列，保障在不同流量场景下入侵检测系统效率的稳定性。本发明通过定期更新机器学习数据集，能够有效提升入侵检测系统在多流量场景中的稳定性。

技术领域

本发明涉及机器人系统领域，具体涉及一种基于机器学习的入侵检测系统规则匹配优化方法。

背景技术

入侵检测系统(intrusion detection system，简称“IDS”)是一种对网络传输进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。

入侵检测系统是通过误用检测(Misuse Detection)、异常检测(AnormalDetection)或两种技术的结合来实现入侵检测的一组计算机程序。

异常检测(Anomaly Detection)是一种基于行为的入侵检测系统，首先总结正常操作应该具有的特征，当用户活动与正常行为有重大偏离时即被认为是入侵。

误用检测(Misuse Detection)是一种基于入侵知识的入侵检测系统，收集非正常操作的行为特征，建立相关的规则库，当检测到用户或系统的网络行为与库中的记录相匹配时，系统就认为这种行为是入侵。

在误用检测技术中，入侵行为由预先编写好的规则(signature)定义，入侵检测系统采用遍历规则库中的每一条规则的方式检测网络报文载荷。一旦发现匹配，则上报告警。

在误用检测(Misuse Detection)技术中，报文经历收包，解码，预处理后进入检测引擎，如图1所示。

在检测引擎中我们将检测过程分为多模式匹配(MPM)阶段和验证阶段。在检测引擎加载规则集后，会预先将规则集进行分组。将相同特征的规则放入同一signaturegroup，如图2所示：

1)首先报文进入规则匹配引擎后，根据解码后的报文特征，进入对应的signaturegroup中进行检测。报文将首先进入检测引擎的第一阶段，多模式匹配阶段。通常多模式匹配阶段采用多模式匹配算法(Multi-Pattern Matching)对signature group中的规则进行预先过滤，拣选出至少有一项与报文特征符合的规则作为预匹配规则，最终为待检测报文生成预匹配规则集。

2)验证阶段检测引擎逐条遍历预匹配规则集中的规则，与报文载荷特征进行匹配，如果报文特征满足规则的所有约束条件，则生成告警，测引擎流程如图3所示：

MPM可以达到O(N)时间复杂度，可以快速拣选signature group中的候选规则。在阶段一得到的多个预匹配规则(prefilter signatures)，假设prefilter signatures的数量为i，我们设预匹配规则为signature1，signature2，…signaturei，然后对规则的逐个遍历验证。设signaturen为命中规则(1≤n≤i)，那么在命中signaturen之前的n-1次匹配均为无效匹配。由此可知n在prefilter signatures序列中的位置，决定了单一报文的匹配开销。如果能够知道signaturen的位置，并预先进行排序，则能够将匹配次数由n次，降为1次。可以有效的提升入侵检测系统规则匹配性能。