[发明专利]基于卡方检验和LDOF算法的入侵检测方法及系统

说明书

本公开提供了一种基于卡方检验和LDOF算法的入侵检测方法及系统。其中，一种基于卡方检验和LDOF算法的入侵检测方法，包括：使用卡方检验算法对原始入侵检测数据集进行特征选择；对特征选择后的入侵检测数据集进行归一化处理；采用LDOF算法寻找归一化的入侵检测数据集中n个最大的LDOF因子，这n个LDOF因子对应的n个数据对象被判定为异常数据；其中，n为正整数。

技术领域

本公开属于入侵检测领域，尤其涉及一种基于卡方检验和LDOF算法的入侵检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

入侵检测是一种主动的网络安全措施，它不仅可以通过监测网络实现对内部攻击、外部攻击和误操作的实时保护，有效地弥补防火墙的不足，而且还能结合其它网络安全产品，对网络安全进行全方位的保护，具有主动性和实时性的特点，是防火墙重要的和有益的补充。它通过从计算机网络或计算机系统的关键点收集数据并进行分析，从中发现网络或系统中是否有违反安全策略的行为和攻击的迹象。

离群点挖掘是数据挖掘技术的一个分支。离群点挖掘是对数据集中一种挖掘较小模式的方法，其挖掘的目的是挖掘大数据集中那些偏离多数数据的异常数据，这些少数的异常数据可能就代表是不正常行为。离群点挖掘的一个重要应用领域，就是应用到入侵检测技术当中。基于离群点挖掘的入侵检测技术能自动的检测出异常数据或入侵行为，不需要依靠人工检测。基于离群点挖掘的入侵检测技术能很好的检测出异常数据。

1)基于统计离群点挖掘，其优点是有坚实的概率论理论支撑，根据概率模型可以揭示离群点的含义等。发明人发现，离群点挖掘也存在着缺点，一是该算法不合适数据未知分布的情况，二是不适合于多维数据集。

2)基于深度的离群点挖掘能很好的处理数据未知分布的情况，但发明人发现，对于高维数据则处理效率比较低。

3)基于聚类的离群点挖掘的优点则是可以同时发现簇和离群点，发明人发现，聚类算法的主要目的是为了发现簇，因此对离群点挖掘的效率较低，同时在聚类的过程中离群点很容易影响聚类的过程，从而导致聚类的不准确。

4)基于距离的离群点挖掘它能很好的处理高维数据，发明人发现，其时间复杂度很高，不能处理稀疏数据，挖掘结果对参数选取很敏感，不能挖掘局部离群点。

5)基于密度的离群点挖掘不仅可以检测到全局离群点还可以检测到局部离群点，发明人发现，仍存在着参数的选择问题和算法的复杂度比较高等问题。

发明内容

为了解决上述问题，本公开的第一个方面提供一种基于卡方检验和LDOF算法的入侵检测方法，其通过卡方检验进行特征选择来降低入侵监测数据集的维度，达到降低计算成本和提高算法精度的目的。

为了实现上述目的，本公开采用如下技术方案：

一种基于卡方检验和LDOF算法的入侵检测方法，所述入侵检测方法基于Spark平台运行；所述入侵检测方法包括：

使用卡方检验算法对原始入侵检测数据集进行特征选择；

对特征选择后的入侵检测数据集进行归一化处理；

采用LDOF算法寻找归一化的入侵检测数据集中n个最大的LDOF因子，这n个LDOF因子对应的n个数据对象被判定为异常数据；其中，n为正整数。

为了解决上述问题，本公开的第二个方面提供一种基于卡方检验和LDOF算法的入侵检测系统，其通过卡方检验进行特征选择来降低入侵监测数据集的维度，达到降低计算成本和提高算法精度的目的。

为了实现上述目的，本公开采用如下技术方案：

一种基于卡方检验和LDOF算法的入侵检测系统，所述入侵检测系统基于Spark框架构建；所述入侵检测系统，包括：