[发明专利]一种基于神经网络的异常流量检测方法

说明书

本发明属于异常流量检测技术领域，具体涉及一种基于神经网络的异常流量检测方法。本发明首先通过采样技术对数据不均衡的流量样本进行重新采样，以避减少数据不均衡对检测的影响；然后将样本数据输入网络进行检测，从空间结构和特征权重两个方面对网络进行优化，并且针对异常流量的特点对网络的结构进行改进，提升网络检测准确率。本发明将重采样和神经网络相结合，提高模型准确性，有效提升异常流量检测的效果。本发明可以有效的减少数据不均衡对分类结果的影响，同时根据流量检测的特点对网络进行优化，提升检测准确率。本发明解决了训练数据集中数据分布不均衡的异常流量检测问题，并提高了检测模型的性能。

技术领域

本发明属于异常流量检测技术领域，具体涉及一种基于神经网络的异常流量检测方法。

背景技术

随着互联网技术越来越多的应用，安全问题已成为一个亟待解决的安全问题，如何抵御来自外部的网络攻击已成为全世界相关从业者所关注的重点问题。异常流量检测是网络安全防御工作中重要的组成部分，针对目前工业控制系统出现的网络安全问题，可以采取异常流量检测的方式对工控网络中的流量进行收集并检测以此发现可能的攻击并作出响应。异常流量检测则是为通过针对网络中的流量进行收集并将其中有用的信息提取成特征，用特征对流量进行描述，从而发现网络中是否存在被攻击的迹象或违反安全策略的行为。

机器学习和深度学习等方法具有建模能力强的优势，对数据的学习效果更好，近年来在网络安全领域也取得了巨大的成功。迄今为止，研究人员们将很多机器学习方法用到异常流量检测工作中来，这些方法各具特色。

神经网络算法是近年来热门的算法，具有仿生学的随机性和合理性，很多时候性能高于其他的机器学习算法，天然需要大量的数据以学习成为性能优异的模型，其结构可以表达出十分复杂的模型，非常适合于异常流量检测这种大量而难以区分的数据。赖英旭等人通过基于马氏距离提取特征映射的方法将结果作为CNN的输入，在一个天然气系统的数据集上具有很好的表现、Wu等人提出一种基于人工免疫算法的广义回归神经网络，提高适应性和准确性，对于训练时间长问题则使用PCA进行降维，以此来减少训练时间、Sonawane等人利用PCA提取主成分和神经网络相结合，通过降维来提高检测效率，节约时间和内存成本、Ashfaq等人将半监督学习和神经网络相结合进行模糊检测，用未标记的样本提高模型的分类性能。这些方法大多节省了计算资源并且得到了不错的结果，但是在异常流量的数据集中往往会存在一些样本分布不均的问题，样本不均衡的现象十分常见，尤其是在异常检测、医学影像分析和金融预测等领域。样本不均衡的数据训练出的模型的分类结果会更偏向于样本数量较多的样本类别，使得应该属于样本数量较少的类别的样本在预测时分到样本数量较多的类别中，使得模型的泛化性变差，这也是需要解决的。

样本的不平衡问题主要可以从数据处理时解决，从数据处理入手，通过采样等技术调整不均衡类的样本数量增加少数类别的样本数量或者减少多数类别的样本数量使数据更均衡。

发明内容

本发明的目的在于提供解决训练数据集中数据分布不均衡的异常流量检测问题，并提高检测模型的性能的一种基于神经网络的异常流量检测方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：获取待检测的原始数据集，对原始数据集进行预处理；将预处理后的数据集分为训练集和测试集，对训练集中的数据进行标注；

步骤2：利用过采样方法对训练集中的少数类别样本进行扩充；

步骤2.1：确定少数类样本k的扩充数量t，构造少数类样本k的同类近邻集合ndarray；

步骤2.2：对于每一个少数类样本p，在其K个邻近的同类中，随机选择一个样本nb，从0-1之间确定一个随机数rd，生成新的样本new；新的样本new中的连续型特征c以随机数以及两个样本p、nb对应特征c的取值进行确定：

new[c]＝nb[c]+rd×dis