[发明专利]异常流量检测系统及方法

说明书

本发明提供了一种异常流量检测系统及方法，包括：流量特征分析与选取模块：根据泛在电力物联网流量特点对流量特征进行筛选，并使用KPCA算法对流量特征进行降维；流量基准模型构建模块：对降维后的流量特征进行提取，基于RBM模型和SOM聚类算法构建受限玻尔兹曼机模型并进行训练，完成基准模型的构建；流量基准模型训练模块：根据对比散度算法对训练后的基准模型进行异常度划分，划分为正常基准模型与异常基准模型；异常流量检测模块：提取待检测流量特征并进行计算，根据基准模型的输出与原输入特征数据的相似度进行异常流量检测。本发明可以完成流量数据的自动类别标注，且具有较高的网络流量异常检测准确率。

技术领域

本发明涉及网络入侵检测技术领域，具体地，涉及一种异常流量检测系统及方法。尤其地，涉及一种基于受限玻尔兹曼机模型和SOM聚类算法的异常流量检测系统。

背景技术

网络流量异常检测是泛在电力物联网系统的一项重要技术防护手段，其主要实现方法是使用基于基准模型的网络流量异常检测技术。具体是根据历史流量的特征来建立不同类别的基准模型，通过实时流量与各个基准模型的匹配来判断是否发生异常。而机器学习模型凭借其优异的泛化性和鲁棒性，逐渐成为基准模型的首选方案。但现阶段的机器学习模型主要基于支持向量机、K-means聚类、决策树等算法进行搭建，存在着诸如需求大量手工标注数据、参数设置经验化、运行效率低等问题，而在泛在电力物联网系统中，很难收集大量手工标注的数据，且实时性是一项重要指标，必须保证高运行效率。而玻尔兹曼机凭借其强大的无监督特征学习能力，可以极大程度解决上述问题，大幅提升网络流量异常检测的速度和精度。在我们的研究初期，已使用多受限玻尔兹曼机模型结合层次聚类的思想构建了异常流量检测模型，取得了一定的成效。但是由于原模型层次聚类在类别数量设置上存在着主观性和经验性，导致模型泛化能力差，对数据集有着较大的要求；且由于用于模型构建的流量特征由人工进行选择且未经降维，冗余特征带来了额外的计算消耗，对实时性产生了一定的影响。因此，本发明从特征处理、聚类算法、判别距离等角度对原模型进行改进，进一步提高准确率和实时性。

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种基于统计力学和能量模型的神经网络模型，RBM可以看作为一种双层的无向全联通模型，由可见层与隐含层以及两层之间的权值矩阵组成，每层含有若干个神经元，可见层和隐含层内的神经元之间相互无连接，而层间的神经元相互之间是全连接的。

当可见层神经元的取值确定时，可以通过条件概率得到隐含层神经元的概率分布情况，相反通过隐含层神经元的取值也可以得到可见层神经元的分布情况，那么通过参数的不断调整让RBM网络重构误差尽量小，使得最终通过隐含层神经元的取值得到可见层神经元的分布，该分布接近于原来可见层神经元取值的分布，从而在分布角度使得重构后的数据能够拟合原来数据，这样就可以达到特征提取、分布刻画的目的。

自组织映射网络(Self-Origanizing Maps,SOM)是一种基于神经网络的聚类算法。SOM通过竞争，协作和适应三个学习过程实现降维和无监督聚类。SOM具有不需要预先设定聚类的数量、数据降维、可视化好等优点，但也由于区域更新的机制存在着关联性数据的分布刻画不明显等缺点。但考虑到RBM具有拟合任意的离散分布的特点，正好可以弥补SOM聚类的上述局限性。因此借助SOM聚类的思想且利用 RBM进行样本数据自动标注并构建基于多RBM的基准模型是可行的。