[发明专利]基于可视化聚类的网络流量异常分析方法

摘要

本发明公开了一种基于可视化聚类对网络流量进行异常分析的方法，步骤为1)对网络流量监控数据记录进行预处理；2)对流量数据进行RadViz可视聚类，得到网络流量特征类似的流量时隙聚类；3)归纳2)所得到的流量时隙聚类的网络流量特征，得到流量特征异常的聚类；4)对2)所得到的流量时隙聚类过滤选择，得到不在聚类内离散的时隙点；5)结合IPPort矩阵对3)4)所得到的流量异常聚类中的和离散的时隙点进行分析。本发明能结合多角度快速对网络流量进行协同过滤，高效分析出网络流量的异常。

主权项

一种基于可视化聚类对网络流量进行异常分析的方法，其特征在于，包括：步骤1)：对需监控的时间段内网络流量监控数据记录进行预处理，得到反应流量特征的关于各个时隙slot点的集合p的流量信息表Netflow_Info_Table；步骤2)：根据步骤1)得到的流量信息表Netflow_Info_Table，对集合p进行RadViz可视聚类，得到网络流量特征类似的时隙点聚类；步骤3)：初步归纳步骤2)得到的时隙点聚类的网络流量特征，得到Radviz中流量特征异常聚类中的时隙点集s1；步骤4)：根据步骤2)得到的时隙点聚类图像进行过滤选择，得到不在聚类内的离散时隙点集s2；步骤5)：根据步骤3)和步骤4)得到的点集合s1、s2，用IPPort矩阵反映每个时隙点的IP和端口的流量、连接情况，利用IPPort矩阵判断哪些时间点发生了何种异常，完成对该时间段网络流量的异常分析；所述步骤1)包括：步骤1.1)：提取需监控时间段内的网络流量监控数据中的描述网络流量特征数据，即提取每一条流记录的时隙slot、发送方源IPsip、接收方目的IPdip、发送方端口sport、接收方端口dport、传输流大小byte字段；步骤1.2)：根据步骤1.1)得到的网络流量特征数据，计算对应每个时隙网络流量数据特征的相关统计信息，包括该时隙的源IP标准熵sipNormEntro、目的IP标准熵dipNormEntro，源端口标准熵sportNormEntro、目的端口标准熵dportNormEntro；该时隙的主机总连接数sumCount；该时隙的总流量大小sumByte；并将每一个时隙点加入时隙slot点集合p中，其中Pi代表集合p中第i个时隙点；步骤1.3)：根据步骤1.2)计算得到的对应每个时隙网络流量数据特征的相关统计信息，建立关于各个时隙slot点集合p的流量信息表Netflow_Info_Table；所述步骤2)包括：步骤2.1)：选取源IP标准熵sipNormEntro、目的IP标准熵dipNormEntro，源端口标准熵sportNormEntro、目的端口标准熵dportNormEntro；主机总连接数sumCount；总流量大小sumByte作为6个维度的锚点，将其均匀分布在RadViz圆周；步骤2.2)：对时隙slot点集p中每个流量时隙点进行Radviz聚类，每个时隙点在Radviz以半径r的圆表示，r介于RadViz圆半径的1/60与1/70之间，受其对应维度锚点产生的弹簧力而在RadViz中处于平衡位置；步骤2.3)：用K‑Means算法对RadViz圆环内时隙点聚类，设置初始聚类个数X为流量信息表Netflow_Info_Table中时隙记录条数；聚类内记录个数限制Nummin＝30；在RadViz中随机选定K个时隙点作为聚类质心Centroid，每个质心代表聚类Ci，i＝1，2，…，K；第一步对每个时隙点分别计算其到各个聚类质心的距离，选取距离该时隙点最近的聚类Ci作为这个时隙点的聚类；第二步对每个聚类重新计算质心，即对聚类中所有的点求平均坐标并作为新的质心；重复迭代第一步和第二步直到前后质心变动的距离d不大于时隙点半径r；第三步逐个判断每个聚类中记录个数Numi是否小于类内记录个数限制Nummin，若Numi＜Nummin，则取消该聚类，K＝K‑1；聚类内的时隙点回复未被聚集状态；聚类Ci半径Ri为聚类Ci的质心到边缘时隙点最大值，其中Ri的最大值为Rmax；步骤2.4)：对步骤2.3)中的初始聚类个数K、聚类内记录个数限制Nummin进行调整，重复执行步骤2.3)，直到任一聚类Ci半径Ri总小于与之相邻聚类间质心距离，即得到最终聚类结果，其中初始聚类个数K的调整范围为0到之间的整数，聚类内记录个数限制Nummin为大于0的整数。