[发明专利]一种基于特征选择与密度峰值聚类的异常流量检测方法

摘要

本发明公开了一种基于特征选择以及密度峰值聚类的网络流量异常检测方法包括如下阶段：流量采集阶段：通过网络分析工具监听网络，并将监听到的数据包采集到本地；特征提取阶段：从数据包中提取属于同一个流的数据包，对数据包进行特征抽取，并将提取的特征进行归一化；特征选择阶段：利用最大信息系数评估每个特征对分类决策的重要性，再根据特征之间的冗余度对特征进行简单聚类，选择出重要性最高的一个特征加入特征子集；聚类分析阶段：采用改进的基于密度峰值的聚类方法对特征进行聚类得到多个流量类型簇，对每一个流量类型簇进行少量抽样，并进行类别检测，利用抽样样本众数类别的流量类型来覆盖整个流量类型簇的流量类型，以检测出异常流量。

主权项

1.一种基于特征选择以及密度峰值聚类的网络流量异常检测方法，其特征在于，包括如下阶段：流量采集阶段：通过网络分析工具监听网络，并将监听到的数据包采集到本地；特征提取阶段：从所述数据包中提取属于同一个流的数据包，对所述数据包进行特征抽取，并将提取的特征进行归一化；特征选择阶段：利用最大信息系数评估每个特征对分类决策的重要性，再根据特征之间的冗余度对特征进行简单聚类，在相互之间存在冗余的特征中选择出重要性最高的一个特征加入特征子集；聚类分析阶段：对所述特征子集的特征，采用改进的基于密度峰值的聚类方法对特征进行聚类，将其分为多个流量类型簇，对每一个所述流量类型簇进行少量抽样，通过已有的入侵数据库、网络流量和日志文件进行分析来对抽样的流量数据进行分辨并标记，利用抽样样本众数类别的流量类型来表示整个流量类型簇的流量类型，以检测出异常流量；所述聚类分析阶段包括如下实施步骤：步骤4a：将经过重要度筛选以及冗余度筛选的特征所形成的子集导入系统用于聚类分析；步骤4b：载入特征选择好的低维数据，根据总条数N，确定样本数目为Sample＝C*N^(1/2)，进行随机抽样，C为不超过5的常数；给定用于确定截断距离dc的参数t∈(0，1)，计算距离d_ij，并令d_ij＝d_ji，i＜j，i，j∈IS；确定截断距离dc；将上一步计算的距离d_ij(i＜j)，共个距离值进行升序排序，设得到的序列为d₁＜＝d₂≤…≤d_M，取d_c＝d_f(Mt)，其中f(Mt)表示对Mt进行四舍五入后得到的整数；按照局部密度定义计算并生成其降序排列下标序确定聚类中心并初始化数据点归类属性标记具体为步骤4c：在聚类阶段，需要对所有数据进行标记；即Label[i]＝argmin_j∈Centers(eculidean_distance(D[i]，Center[j]))；在对非聚类中心数据点进行归类时，判断是否为‑1，若是则将与其密度大于它的距离最小的一个点的聚类中心值赋予；设j属于数据中心的编号，对于数据点D[i]，遍历聚类中心Center[]数组，保存该数据点到所有中心Center[j]的距离的最小值以及取得最小值的中心下标j，然后将Label[i]的值设为j，表示j为数据i的聚类簇编号；步骤4d：由于步骤4c中的标记，这些数据已经被分为相应的簇，对于每一个簇，进行如下操作：从每一个簇中抽取少数量的记录，根据已有的入侵数据库、网络流量和日志文件对抽样的流量数据进行分辨，从而达到较高的检测率，采取多数表决制度，选择数量最大的记录类型作为该簇的记录类型；利用抽样样本众数类别的流量类型来表示整个流量类型簇的流量类型，检测出异常流量。