[发明专利]一种基于特征选择与密度峰值聚类的异常流量检测方法

说明书

本发明公开了一种基于特征选择以及密度峰值聚类的网络流量异常检测方法包括如下阶段：流量采集阶段：通过网络分析工具监听网络，并将监听到的数据包采集到本地；特征提取阶段：从数据包中提取属于同一个流的数据包，对数据包进行特征抽取，并将提取的特征进行归一化；特征选择阶段：利用最大信息系数评估每个特征对分类决策的重要性，再根据特征之间的冗余度对特征进行简单聚类，选择出重要性最高的一个特征加入特征子集；聚类分析阶段：采用改进的基于密度峰值的聚类方法对特征进行聚类得到多个流量类型簇，对每一个流量类型簇进行少量抽样，并进行类别检测，利用抽样样本众数类别的流量类型来覆盖整个流量类型簇的流量类型，以检测出异常流量。

技术领域

本发明属于数据挖掘以及异常检测的交叉领域，特别涉及一种基于特征选择与密度峰值聚类的异常流量检测方法。

背景技术

当窥探、入侵等恶意行为发生时，网络上传输的流量在某些特性，如流量大小、数据包长以及数据包特定区域的内容等特性会表现出与正常流量的相异性，若能够尽早检测这些异常流量，就可以提前采取行动来保护网络安全。研究对这些异常流量的检测、定位造成异常的主机，进而对异常主机进行处理，对于避免网络拥塞、保证网络性能、避免网络资源的滥用以及保护网络信息安全，具有重要意义。

数据挖掘方法的易用性与自动性使其近年来成为异常检测领域的热点，受到许多研究机构的重视。当前基于数据挖掘的异常流量检测所面临的挑战主要有：

1.由于数据量往往较为庞大，提取的特征维度较高且存在无关特征，使得异常流量检测占用的计算资源高，分析时间长，因此需要有效的方法提取最合适的特征。

2.当前有监督的分类方法需要对未知的流量进行大量的人工标记，显然无法应用于大规模的数据量，而一些无监督的聚类方法尽管不需要标记，然而聚类精确度以及所需时间对一些参数，如聚类中心的个数敏感，难以达到满意的结果。

特征选择是一种较为常见的对提取的特征进行选择，使之具有更强的信息代表与相关性，并减少冗余的技术。然而大量的数据挖掘方法需要基于样本的标记，在没有标记的情况下对特征之间的互信息进行估计存在局限；此外，提取的特征不仅包含离散类型的特征，还包含连续特征。离散化的效果对结果影响较大。本文采用的基于最大信息系数的无监督特征选择，从而不仅确保在无标记情况下，信息之间的相关性能够得到较为准确的测量，且能够在不降低聚类精度的情况下，有效减少冗余的特征数量。

聚类是一种普遍的无监督学习方法，旨在将物体分类的有意义的组别。同一个簇中的成员看作相似的，而不同组别中的成员看作不同的。因此产生于不同机制的网络数据会被分到不同的组别中去。现有的一种聚类方法，基于密度峰值的聚类算法，尽管结合了基于距离以及基于密度两类聚类方法的优势，然而在其聚类中心的选择阶段需要对所有数据记录建立二维矩阵，以求记录其二者之间的距离，在单机上，所能处理的数据十分有限。本文根据其密度峰值特性，采用改进的基于抽样机制的密度峰值聚类算法，对其聚类中心选择阶段进行了一定比例抽样，使得可处理的数据量得到较大提高且仅带来微量误差下降。

本发明的目的在于克服现有技术的缺点与不足，提供一种基于无监督特征选择以及聚类的异常流量检测方法，在继承了无监督特征选择以及聚类无需标记的优势的同时，也具备处理更多数据的能力。

发明内容

本发明提出了一种基于特征选择以及密度峰值聚类的网络流量异常检测方法，包括如下阶段：

流量采集阶段：通过网络分析工具监听网络，并将监听到的数据包采集到本地；

特征提取阶段：从所述数据包中提取属于同一个流的数据包，对所述数据包进行特征抽取，并将提取的特征进行归一化；

特征选择阶段：利用最大信息系数评估每个特征对分类决策的重要性，再根据特征之间的冗余度对特征进行简单聚类，在相互之间存在冗余的特征中选择出重要性最高的一个特征加入特征子集；