[发明专利]基于卡方检验和LDOF算法的入侵检测方法及系统

权利要求书

1.一种基于卡方检验和LDOF算法的入侵检测方法，其特征在于，所述入侵检测方法基于Spark平台运行；所述入侵检测方法包括：

使用卡方检验算法对原始入侵检测数据集进行特征选择；

使用卡方检验算法对原始入侵检测数据集进行特征选择的过程为：

原始入侵检测数据集被加载为RDD并分为多个数据块，每个数据块对应一个分区；

分别计算每个分区的卡方值，筛选出排在前m的卡方值对应的数据块作为原始入侵检测数据集的特征，进而得到特征选择后的入侵检测数据集；其中，m为正整数；

对特征选择后的入侵检测数据集进行归一化处理；采用LDOF算法寻找归一化的入侵检测数据集中n个最大的LDOF因子，这n个LDOF因子对应的n个数据对象被判定为异常数据；其中，n为正整数；采用LDOF算法对归一化的入侵检测数据集并行化处理的过程为：

将特征选择后的入侵检测数据集复制成两份，一份为训练集，另一份为测试集；

将训练集加载到RDD中的训练数据块RDDtrain，作为训练数据对象；

将测试集加载到RDD的测试数据块RDDtest，作为测试数据对象；

利用broadcast广播算子将训练数据对象和K值广播到Spark平台集群中各个节点中；

遍历测试数据对象，循环计算测试数据对象到训练数据对象的距离，得到每条数据对象的K近邻并将其统计排序；

根据每条数据对象的K近邻，计算每条数据对象的LDOF因子；

根据top-n原则，输出最大的n个LDOF因子，这n个LDOF因子对应的n个数据对象被判定为异常数据。

2.如权利要求1所述的一种基于卡方检验和LDOF算法的入侵检测方法，其特征在于，使用min-max标准化方法对特征选择后的入侵检测数据集进行归一化处理。

3.一种基于卡方检验和LDOF算法的入侵检测系统，其特征在于，所述入侵检测系统基于Spark框架构建；所述入侵检测系统，包括：

特征选择模块，其用于使用卡方检验算法对原始入侵检测数据集进行特征选择；

归一化模块，其用于对特征选择后的入侵检测数据集进行归一化处理；

LDOF因子计算模块，其用于采用LDOF算法寻找归一化的入侵检测数据集中n个最大的LDOF因子，这n个LDOF因子对应的n个数据对象被判定为异常数据；其中，n为正整数；采用LDOF算法对归一化的入侵检测数据集并行化处理的过程为：

将特征选择后的入侵检测数据集复制成两份，一份为训练集，另一份为测试集；

将训练集加载到RDD中的训练数据块RDDtrain，作为训练数据对象；

将测试集加载到RDD的测试数据块RDDtest，作为测试数据对象；

利用broadcast广播算子将训练数据对象和K值广播到Spark平台集群中各个节点中；

遍历测试数据对象，循环计算测试数据对象到训练数据对象的距离，得到每条数据对象的K近邻并将其统计排序；

根据每条数据对象的K近邻，计算每条数据对象的LDOF因子；

根据top-n原则，输出最大的n个LDOF因子，这n个LDOF因子对应的n个数据对象被判定为异常数据。

4.如权利要求3所述的一种基于卡方检验和LDOF算法的入侵检测系统，其特征在于，所述特征选择模块，包括：

原始数据集加载模块，其用于原始入侵检测数据集被加载为RDD并分为多个数据块，每个数据块对应一个分区；

卡方值筛选模块，其用于分别计算每个分区的卡方值，筛选出排在前m的卡方值对应的数据块作为原始入侵检测数据集的特征，进而得到特征选择后的入侵检测数据集；其中，m为正整数。

5.如权利要求3所述的一种基于卡方检验和LDOF算法的入侵检测系统，其特征在于，在所述归一化模块中，使用min-max标准化方法对特征选择后的入侵检测数据集进行归一化处理。