[发明专利]一种基于因果机器学习的网络安全监测分析方法与系统

说明书

本发明公开了一种基于因果机器学习的网络安全监测分析方法与系统，本发明方法包括针对网络流量的训练数据集的特征集合P进行预处理；针对预处理后的特征集合P删除非因果噪声特征，得到因果特征集合V；通过机器学习方法在因果特征集合V中选择与监测数据接近的M类攻击标签；通过反事实诊断方法计算M类攻击标签在反事实中异常特征的期望值，并选择使得期望值最大的攻击标签作为检测数据最终的网络入侵检测结果。本发明在保证监测性能的同时，能够降低反事实方法计算的复杂度，提升监测系统的精度。

技术领域

本发明涉及网络安全监测，具体涉及一种基于因果机器学习的网络安全监测分析方法与系统。

背景技术

网络安全监测是针对计算机网络传输提供即时监视的一种安全监测设备，这种设备在发现可疑传输时会及时发出警报或主动采取相应措施对可疑行为进行封杀。相对于其他网络安全设备来说，网络安全监测是一种更加积极主动的网络安全防护技术。与防火墙等传统防御系统相比，网络安全监测可以捕获数据包并提取它们的特征，然后将这些特征与已知的攻击模式进行对比。网络安全监测主要有基于贝叶斯推理、特征选择、模式预测、数据挖掘等检测方法。

近年来，随着决策树、随机森林、神经网络等机器学习方法被广泛应用于入侵检测领域，网络安全监测的检测精度也愈发提高了很多。然而现有基于关联的机器学习方法无法将相关性与因果性解耦，对于未知的测试数据集就很难达到稳定的预测。特别是许多的机器学习方法或者基于特征选择的方法，均是基于关联驱动来判断流量特征属性与网络攻击类型之间的因果关系的，这种关联关系因存在许多的强虚假关联而导致网络安全监测对特征错误的归类，特别是在网络攻击类型数量较多时，这种错误归类更为明显。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于因果机器学习的网络安全监测分析方法与系统，本发明在保证检测性能的同时，能够降低反事实方法计算的复杂度，提升网络安全监测的检测精度。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于因果机器学习的网络安全监测分析方法，包括：

1)针对网络流量的训练数据集的特征集合P进行预处理；

2)针对预处理后的特征集合P删除非因果噪声特征，得到只包含因果特征集合V的训练数据；

3)通过机器学习方法在训练数据中选择与检测数据接近的M类攻击标签；

4)通过反事实诊断方法计算M类攻击标签在反事实中异常特征的期望值，并选择使得期望值最大的攻击标签作为检测数据最终的网络入侵检测结果。

可选地，步骤1)中的预处理依次包括Z分数标准化、最大最小标准化以及删除无效和错误的数据集合。

可选地，步骤2)包括：

2.1)初始化循环变量i，在预处理后的包含p个特征的特征集合P中选择第i个特征为当前特征，初始化当前特征的删除特征集合Cu[i]，其中0≤i＜p；

2.2)分别遍历特征集合P中的所有特征，针对遍历得到的第j％p个特征，计算该第j％p个特征与网络攻击之间的因果效应值，如果因果效应值小于设定的阈值δ，则将该第j％p个特征值改为全0，并记为非因果特征添加到当前特征的删除特征集合Cu[i]，其中i≤j＜p+i；

2.3)判断循环变量i小于特征集合P的特征数量p是否成立，若成立则将循环变量i加1，跳转执行步骤2.1)；否则，跳转执行步骤2.4)；

2.4)将得到的所有的删除特征集合Cu[1]～Cu[p]按包含特征个数进行排序；