[发明专利]基于Spark与隔离森林的并行网络流量异常检测方法

说明书

本发明公开一种基于Spark与隔离森林的并行网络流量异常检测方法，在隔离森林算法的基础上，借助并行处理技术Spark，为建树过程和异常评价过程提供计算资源，实现了iForest算法建模过程的并行化和异常评价的批量处理，有效的提高了异常检测的准确率并减少时间复杂度，同时也为网络流量异常检测提供了新的思路和理论方法依据。

技术领域

本发明涉及网络安全技术领域，具体涉及一种基于Spark与隔离森林的并行网络流量异常检测方法。

背景技术

随着“互联网+”、云计算、大数据等新技术的快速发展，网络应用和需求逐步增多，网络规模不断增大，网络拓扑结构越来越复杂。与此同时，网络流量数据也呈现出爆炸式增长趋势，致使网络流量异常检测面临着严峻的挑战。网络流量异常检测是通过科学有效的方法过滤出流量数据中的异常信息，它可以有效地判别和定位网络的安全状态，并发现其中潜在的威胁和攻击，从而保障网络环境的安全运行。

隔离深林算法作为一种异常检测的算法，因其具有线性时间复杂度、高精准率、且可以很好的处理高维数据等特点，而被广泛应用在网络安全中的攻击检测和流量异常分析中。然而，传统的隔离森林算法是基于单机串行的设计，它处理数据规模的大小受限于内存的最大容量，单一节点的计算能力已无法满足异常检测的需求，难以处理大规模网络流量数据，在很大程度上限制了隔离森林算法的应用，因此将隔离森林进行并行化是非常有必要的。

发明内容

本发明针对传统隔离深林算法在处理数据受内存的最大容量的限制，从而无法高效的处理大规模网络流量数据的问题，提供一种基于Spark与隔离森林的并行网络流量异常检测方法。

为解决上述问题，本发明是通过以下技术方案实现的：

基于Spark与隔离森林的并行网络流量异常检测方法，包括步骤如下：

步骤1、构建隔离森林异常检测模型，其具体步骤为：

步骤11、将训练样本数据集D形成初始化弹性分布式数据集并划分对应的RDD分区，再由集群上的master主节点将RDD分区任务分配到各个worker节点上执行；

步骤12、对训练样本数据集D进行随机采样，并将采样得到的训练样本数据作为构建孤立树的样本集d；

步骤13、根据样本集d，Spark平台将构建多棵孤立树的作业切分为多个建树任务，并由集群上的master主节点将建树任务分配到集群的各个节点上执行，此时每个节点将并行执行建树任务，从而实现了孤立树的并行构建；

步骤14、孤立树的并行构建完毕后，收集并合并孤立树集合得到隔离森林网络流量异常检测模型；

步骤2、基于Spark并行计算框架实现异常评价的批量处理，其具体步骤为：

步骤21、将实时采集的网络流量数据构建测试数据集D′，并初始化测试数据集D′；

步骤22、将测试数据集D′形成初始化弹性分布式数据集并划分对应的RDD分区，再由集群上的master主节点将RDD分区任务分配到各个worker节点上执行；

对于单个RDD分区任务，从该RDD分区中逐条读取网络流量数据，令该网络流量数据遍历步骤1所得到的隔离森林网络流量异常检测模型，以计算出该条网络流量数据的平均路径长度和异常得分，从而实现对该条网络流量数据的异常评价；

步骤23、执行完对测试数据集D′中所有网络数据的异常评价后，将得到的数据的异常评价结构进行统计并输出。

上述步骤12中通过子采样算法对训练样本数据集D进行随机采样。

上述步骤14中，需要进一步将得到的隔离森林网络流量异常检测模型存入到Hadoop分布式文件系统中。